2020年7月1日 机器视觉与计算机视觉技术

DeepFly3D:设计飞行类机器人的深度学习方法

EPFL的科学家们开发了一款基于深度学习的动作捕捉软件,该软件使用多个摄像机视图来模拟苍蝇的三维动作。最终目标是利用这些知识来设计飞行型机器人。

“想想苍蝇能做什么,”帕万·拉姆迪亚教授说,他在EPFL大脑心智研究所的实验室与EPFL计算机科学研究所的帕斯卡·富阿教授的实验室共同领导了这项研究。“苍蝇可以爬过轮式机器人无法爬过的地带。”

苍蝇并不讨人喜爱,在我们的日常生活中,苍蝇是一种令人讨厌的物种 。但有一条意想不到的救赎之路:机器人。事实证明,苍蝇有一些特征和能力可以为机器人系统的新设计提供信息。

“与大多数脊椎动物不同,苍蝇几乎可以攀爬任何地形,”Ramdya说。“它们能粘在墙上和天花板上,因为它们的腿上有可粘的垫子和爪子。这让他们基本上可以去任何地方。这引人思考,因为如果你可以在任何表面上休息,你就可以通过等待正确的行动时机来控制你的能量消耗。”

正是这种提取控制苍蝇行为的原理的愿景,推动了DeepFly3D的发展,这是一种针对果蝇的动作捕捉系统,一种几乎在生物学中广泛使用的生物模型。

在Ramdya的实验装置中,一只苍蝇在一个像小型跑步机一样的微小浮球上行走,同时有七台摄像机记录它的每一个动作。这只苍蝇的上半部分被粘在一个固定的舞台上,这样当它在球上行走的时候就可以一直呆在原地。然而,苍蝇认为它是自由移动的。

收集到的相机图像随后由DeepFly3D进行处理,这是一款由Ramdya和Fua实验室的博士生Semih Gunel开发的深度学习软件。“这是一个很好的例子,说明了跨学科合作的必要性和变革性,”Ramdya说。“通过利用计算机科学和神经科学,我们解决了一个长期存在的挑战。”


果蝇的不同姿态被多个摄像机捕捉到,并用DeepFly3D软件进行处理。

DeepFly3D的特别之处在于,它可以推断出苍蝇——甚至其他动物——的3D姿态,这意味着它可以自动预测并以前所未有的分辨率对各种生物应用进行行为测量。该软件不需要手动校准,它使用相机图像自动检测和纠正它在计算苍蝇姿态时所犯的任何错误。最后,它还使用主动学习来提高自己的性能。

DeepFly3D开辟了一种有效和准确地建立果蝇三维运动、姿势和关节角度模型的方法。这可能会激发一种标准的方法来自动模拟其他生物体的三维姿态。

“苍蝇,作为一种模式生物,很好地平衡了易用性和复杂性,”Ramdya说。“如果我们了解它是如何工作的,我们就可以对机器人和医学产生重要影响,或许最重要的是,我们可以在相对较短的时间内获得这些见解。”

Banner
Related Posts

低功耗FPGA解决智能视觉系统挑战

2019年4月9日

2019年4月9日

随着被集成到当前一代嵌入式设计中的传感器数量的迅速增加,以及低成本相机和显示器的集成,为一系列新的智能和视觉应用打开了大门。这种嵌入式视觉革命迫使设计师仔细重新评估他们的处理需求。

13项令人难以置信的人工智能技术

2019年11月12日

2019年11月12日

到目前为止,我们大多数人都意识到人工智能(AI)正日益成为我们日常生活的一部分。但是,如果我们中的许多人了解到人工智能已经知道如何去做的一些技能,他们会感到相当惊讶。以下是人工智能今天已经可以做到的13项令人兴奋的技能。

人工智能在银行数字化文档中的应用

2019年4月25日

2019年4月25日

光学字符识别(OCR)是机器视觉技术的一个子集,其重要是用于识别书写的字母和字符,并以数字方式进行再现复制以供以后使用。这为银行业带来了许多可能性,包括一些安全解决方案,尤其是文档数字化方面。

DFRobot推出AI相机HuskyLens

2019年7月23日

2019年7月23日

机器人和开源硬件供应商DFRobot将于近日推出AI相机HuskyLens,这是一款用户友好的人工智能视觉传感器,内置各种强大的算法,通过简单的点击、学习和试验理念进行创意项目设计。

2020年37个人工智能技术发展趋势

2019年8月30日

2019年8月30日

人工智能技术的发展趋势无法阻挡。人工智能将影响我们生活中的不同行业,人们充满期待。自从出现人工智能,工业的基础开始向好的方向改变。现在,众多的企业,不管他们的行业类型,都想参与这个技术奇迹中。

在农业中引入人工智能和机器视觉技术来监测肉牛养殖

2019年3月15日

2019年3月15日

一家名为“育种家”的AUK初创公司正在改变农业市场,利用人工智能、区块链和机器视觉来改进育种和屠宰决策。

由机器视觉和人工智能驱动的3D打印机

2019年6月4日

2019年6月4日

麻省理工学院的创业公司Inkbit通过赋予其机器“眼睛和大脑”来克服传统的3D打印限制。

图像识别技术的应用及发展趋势

2019年3月20日

2019年3月20日

图像识别技术,连接着机器和这个一无所知的世界,帮助它越发了解这个世界,并最终代替我们完成更多的任务。

2020年6个新兴的人工智能和机器学习趋势

2019年11月20日

2019年11月20日

那么,2020年将是为人工智能领域下一个十年的创新奠定基调并延续现有势头的关键一年。接下来我们将介绍一下研究公司认为2020年应当关注的六个新兴AI和机器学习趋势。

如何开发面向企业的机器学习应用软件

2019年9月9日

2019年9月9日

如今,大多数企业依赖机器学习(ML)应用程序来了解商机、识别市场趋势、预测客户行为和价格波动,以及做出正确的业务决策。开发这些机器学习应用程序需要遵循严格的计划和步骤。问题构建、数据清理、特征工程、模型培训和提高模型精度是开发机器学习应用程序可以遵循的几个步骤。

通过深度学习增强SLAM

2019年5月22日

2019年5月22日

同步定位与映射(SLAM)是在构建或更新未知环境的地图的同时,同时跟踪机器人在其中的位置的计算问题。SLAM正在逐步向空间人工智能(Spatial AI)发展,这是一种常识空间推理,将使机器人和其他人工设备能够在其环境中以一般方式运行。

采用智能视觉系统解决食物垃圾问题

2019年4月10日

2019年4月10日

英国Winnow公司推出了一款人工智能产品,旨在帮助商业厨房减少食物浪费。

当芯片设计遇上人工智能:如何利用机器学习寻找芯片缺陷?

2019年3月22日

2019年3月22日

芯片制造商正在使用比以往更多并且不同的传...

超越自动驾驶汽车:人工智能如何改变汽车行业

2019年3月1日

2019年3月1日

人工智能与车载传感之间的这种更紧密的整合将增加消费者参与度,优化商业模式并解锁大量​​新的应用。

机器学习将彻底改变制造业的十个领域

2019年8月16日

2019年8月16日

麦肯锡(McKinsey)的数据显示,在未来5至7年内,50%的公司将采用人工智能技术,由于其对数据的严重依赖,这些公司的现金流有可能翻一番,制造业在所有行业中处于领先地位。

Comments
发表评论

电子邮件地址不会被公开。 必填项已用*标注