2020年9月25日 机器视觉与计算机视觉技术

DeepFly3D:设计飞行类机器人的深度学习方法

EPFL的科学家们开发了一款基于深度学习的动作捕捉软件,该软件使用多个摄像机视图来模拟苍蝇的三维动作。最终目标是利用这些知识来设计飞行型机器人。

“想想苍蝇能做什么,”帕万·拉姆迪亚教授说,他在EPFL大脑心智研究所的实验室与EPFL计算机科学研究所的帕斯卡·富阿教授的实验室共同领导了这项研究。“苍蝇可以爬过轮式机器人无法爬过的地带。”

苍蝇并不讨人喜爱,在我们的日常生活中,苍蝇是一种令人讨厌的物种 。但有一条意想不到的救赎之路:机器人。事实证明,苍蝇有一些特征和能力可以为机器人系统的新设计提供信息。

“与大多数脊椎动物不同,苍蝇几乎可以攀爬任何地形,”Ramdya说。“它们能粘在墙上和天花板上,因为它们的腿上有可粘的垫子和爪子。这让他们基本上可以去任何地方。这引人思考,因为如果你可以在任何表面上休息,你就可以通过等待正确的行动时机来控制你的能量消耗。”

正是这种提取控制苍蝇行为的原理的愿景,推动了DeepFly3D的发展,这是一种针对果蝇的动作捕捉系统,一种几乎在生物学中广泛使用的生物模型。

在Ramdya的实验装置中,一只苍蝇在一个像小型跑步机一样的微小浮球上行走,同时有七台摄像机记录它的每一个动作。这只苍蝇的上半部分被粘在一个固定的舞台上,这样当它在球上行走的时候就可以一直呆在原地。然而,苍蝇认为它是自由移动的。

收集到的相机图像随后由DeepFly3D进行处理,这是一款由Ramdya和Fua实验室的博士生Semih Gunel开发的深度学习软件。“这是一个很好的例子,说明了跨学科合作的必要性和变革性,”Ramdya说。“通过利用计算机科学和神经科学,我们解决了一个长期存在的挑战。”


果蝇的不同姿态被多个摄像机捕捉到,并用DeepFly3D软件进行处理。

DeepFly3D的特别之处在于,它可以推断出苍蝇——甚至其他动物——的3D姿态,这意味着它可以自动预测并以前所未有的分辨率对各种生物应用进行行为测量。该软件不需要手动校准,它使用相机图像自动检测和纠正它在计算苍蝇姿态时所犯的任何错误。最后,它还使用主动学习来提高自己的性能。

DeepFly3D开辟了一种有效和准确地建立果蝇三维运动、姿势和关节角度模型的方法。这可能会激发一种标准的方法来自动模拟其他生物体的三维姿态。

“苍蝇,作为一种模式生物,很好地平衡了易用性和复杂性,”Ramdya说。“如果我们了解它是如何工作的,我们就可以对机器人和医学产生重要影响,或许最重要的是,我们可以在相对较短的时间内获得这些见解。”

Banner
Related Posts

交通标志识别“过去十年中最具影响力”的创新

2019年5月30日

2019年5月30日

在东京的一个仪式上,一项彻底改变汽车阅读交通标志的研究论文被公认为“十年来最具影响力”。

通过深度学习增强SLAM

2019年5月22日

2019年5月22日

同步定位与映射(SLAM)是在构建或更新未知环境的地图的同时,同时跟踪机器人在其中的位置的计算问题。SLAM正在逐步向空间人工智能(Spatial AI)发展,这是一种常识空间推理,将使机器人和其他人工设备能够在其环境中以一般方式运行。

Lightelligence发布了其光人工智能加速器芯片的原型

2019年4月15日

2019年4月15日

使用光而不是电子来进行计算的加速器芯片有望给人工智能模型的训练和推理带来额外的能量。理论上,他们可以以光速处理算法——比当今最快速的逻辑门电路快得多——但到目前为止,光的不可预测性阻碍了大多数从光学角度模拟晶体管的尝试。

研究表明,AI可能有助于检测ICU患者的活动能力

2019年3月26日

2019年3月26日

斯坦福(加利福尼亚州)大学和盐湖城Intermountain LDS医院的研究人员于2017年8月至10月期间将机器视觉技术传感器添加到Intermountain LDS医院的7个ICU室。

2020年37个人工智能技术发展趋势

2019年8月30日

2019年8月30日

人工智能技术的发展趋势无法阻挡。人工智能将影响我们生活中的不同行业,人们充满期待。自从出现人工智能,工业的基础开始向好的方向改变。现在,众多的企业,不管他们的行业类型,都想参与这个技术奇迹中。

研究人员设计了基于AI的检测MS治疗反应的方法

2019年6月12日

2019年6月12日

UCLH的生物医学研究中心支持开发一种新的基于人工智能的方法,用于检测大脑对多发性硬化症(MS)治疗的反应,这种方法明显优于医学专家使用传统技术在治疗效果。

新型人工智能计轴仪为收费公路运营商提供关键信息

2019年11月19日

2019年11月19日

意大利交通摄像头和机器视觉开发商Tattile发布了一款基于深度学习人工智能技术的小型轴识别和计数系统,用于高速收费和其他应用。

超越自动驾驶汽车:人工智能如何改变汽车行业

2019年3月1日

2019年3月1日

人工智能与车载传感之间的这种更紧密的整合将增加消费者参与度,优化商业模式并解锁大量​​新的应用。

视觉技术在眼科诊断治疗中应用

2019年3月24日

2019年3月24日

世界卫生组织(WHO)估计,世界上有超过13亿的视障人士,其中3600多万人是盲人。印度是世界第二大人口大国,失明对印度来说并不陌生。根据视力中心的一份报告,每三个盲人中就有一个是印度人。这个国家拥有世界上30%以上的盲人人口,估计有1200万人。

由机器视觉和人工智能驱动的3D打印机

2019年6月4日

2019年6月4日

麻省理工学院的创业公司Inkbit通过赋予其机器“眼睛和大脑”来克服传统的3D打印限制。

在农业中引入人工智能和机器视觉技术来监测肉牛养殖

2019年3月15日

2019年3月15日

一家名为“育种家”的AUK初创公司正在改变农业市场,利用人工智能、区块链和机器视觉来改进育种和屠宰决策。

DFRobot推出AI相机HuskyLens

2019年7月23日

2019年7月23日

机器人和开源硬件供应商DFRobot将于近日推出AI相机HuskyLens,这是一款用户友好的人工智能视觉传感器,内置各种强大的算法,通过简单的点击、学习和试验理念进行创意项目设计。

农业或成未来机器人产业落地极具优势的领域

2019年8月20日

2019年8月20日

联合国预测,到2050年,世界人口将从目前的76亿增加到98亿。从这个角度来看,全球收获倡议(GHI)预计,世界粮食生产国将需要增加70%的产量,以适应人口增长。此前GHI数据曾显示,从2005年到2019年,农业就业人数预计减少5800万人,减少了11%的农业劳动力

机器学习将彻底改变制造业的十个领域

2019年8月16日

2019年8月16日

麦肯锡(McKinsey)的数据显示,在未来5至7年内,50%的公司将采用人工智能技术,由于其对数据的严重依赖,这些公司的现金流有可能翻一番,制造业在所有行业中处于领先地位。

学习机器人技术的10个开源数据集

2019年9月9日

2019年9月9日

如今,研究人员正在努力对机器人实施人类层面的理解。例如,了解周围环境,手部运动,检测和抓取物体等等。在本文中,我们列出了10个可用于以高级方式学习机器人的开源数据集。

Comments
发表评论

电子邮件地址不会被公开。 必填项已用*标注