2020年11月24日 机器视觉与计算机视觉技术

为双目立体视觉插上FPGA翅膀

如今,微创手术已进入3D 时代。比如3D腹腔镜就可以提供三维立体视觉,医生佩戴3D眼镜进行手术操作,具有全高清的立体感和空间感,操作起来安全可靠,不容易损伤人体的正常组织。

再想象一下,在未来自动驾驶环境中,高速行驶的智能汽车,将通过立体视觉生成的深度图实时获得前方车辆的距离、位置及相对速度等信息,以保持安全距离,确保安全行驶。

以上提到的“立体感”“立体视觉”,到底是什么?为何它可以提供更精准的距离信息?

立体感

近年来3D电影越来越受欢迎,简直可以说“无3D不电影”。我们喜欢看3D电影,是因为它比2D电影更让我们感到真实。换句话说,就是3D电影具有“立体感”。那么,我们是如何感受到“立体感”的呢?

要想感受到“立体感”,最少需要两只眼睛,靠一只眼睛是无法完成的。当我们注视某一物体时,双眼的视线会自然地交叉于一点。这一个点,被称作“注视点”,从注视点反射回视网膜上的光点是对应的。许许多多对应的光点形成两幅图像,视网膜再将两幅图像传送到大脑的视觉中枢,合成一个立体的像。而比如牛、马等眼睛长在两边的动物,因为双眼的视野不能重合,它们也就只能看到2D的图像了。


感受到立体感的原理

再回到3D腹腔镜和智能汽车,它们之所以有更好的立体感,并凭其准确判断出距离,就是因为它们有一双“眼睛”——两个摄像头,而且这两个摄像头所拍摄的图像有重合,同人的立体视觉的实现如出一辙。机器立体视觉的实现,我们称为“双目立体视觉”。

双目立体视觉如何测距

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。

我们换个说法,双目立体视觉通过立体匹配得出的视差值,可以求解出目标和摄像头之间的距离实现测距。

01 双目测距的原理

双目立体视觉融合两只“眼睛”获得图像并观察它们之间的差别,可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)。

通过对两幅图像视差的计算,直接对前方景物(图像所拍摄到的范围)进行距离测量,而无需判断前方出现的是什么类型的障碍物。所以对于任何类型的障碍物,都能根据距离信息的变化,进行必要的预警或制动。

双目摄像头的原理与人眼相似。人眼能够感知物体的远近,是由于两只眼睛对同一个物体呈现的图像存在差异,也就是“视差”。物体距离越远,视差越小;反之,视差越大。视差的大小对应着物体与眼睛之间距离的远近,这也是3D电影能够使人有立体感的原因。

视差原理

02 双目测距的难点

在获得立体感的过程中,计算机需要对两幅有视差的图像特征提取算法,获取特征点,然后再对两幅图像上的这些特征点进行匹配。整个过程计算量非常大,对计算单元的性能要求非常高大。

而FPGA具有灵活高效、可重复编程特性,可实现定制性能、高吞吐量和低延迟,是十分灵活且强大的计算加速器。所以,很多研究机构将算法进行简化后,使用FPGA进行处理。

双目测距成像系统

创新中心展厅展示的基于FPGA的超低延时双目测距成像系统,由南京图格医疗科技有限公司研发。该产品采用FPGA和两个200万像素的传感器,经过实时运算,获得稠密的深度图,再映射成准确的距离信息。

由于采用了复杂但是精准的立体配和优化学习方法,系统延迟小于10ms,带宽占用极低,在算法性能、资源和时序获得了深度的优化提升。首先对镜头进行实时标定,采用自主设计的块状堆叠存储和差分累积等机制,继而采用立体匹配和全局修正算法获得稠密的深度图,最后进行距离映射。

如果说双目立体视觉已然是一双“慧眼”,可以看得清、测距准,那么FPGA就像是一双翅膀,插上FPGA翅膀的“慧眼”可以更快地完成测距。

目前,该产品已经在多家知名自动驾驶平台上采用,并在量产车型中得到系统验证,而且正向高铁视觉检测等方向落地,超低延时为高速行驶车辆的视觉辅助提供了感知基础。

Banner
Related Posts

每个机器制造者都应该了解基于组件的3D视觉系统

2019年9月1日

2019年9月1日

在构建成本效益高的三维视觉系统时,是最好使用基于组件的方法(如照相机、激光、透镜、支架、校准目标)还是采用一体化(即智能)方法?乍一看,以较低的成本购买单个组件和构建定制的视觉解决方案似乎是更经济的途径。

机器视觉相机类型以及接口标准详解

2018年8月9日

2018年8月9日

随着成像技术的进步,相机及其接口的类型不断演变,以满足大量应用的需求。对于检测和分析至关重要的半导体,电子,生物技术,装配和制造行业中的机器视觉应用而言,使用最好的相机系统来完成手头的任务对于获得最佳图像质量至关重要。

新型智能玻璃为机器视觉研究提供新的模拟途径

2019年7月18日

2019年7月18日

[据光电子网站2019年7月10日报道] 美国威斯康星大学麦迪逊分校电气和计算机工程系Zongfu Yu教授带领的团队开发出了一种新型智能玻璃。不需传感器、不用接通线路或外部电源、亦不需连接互联网,这种智能玻璃就可以利用光学反射的原理识别图像。

快速创建三维纳米结构图像的新方法

2019年4月17日

2019年4月17日

通过X射线激光脉冲从两个方向照射物体(在图像中心切出十字)。在下一步骤中,将星形衍射图像重建为3-D对象

机器视觉技术可能比您想象的更厉害

2018年8月9日

2018年8月9日

从数字图像中自动提取信息的能力为制造商努力削减成本、提高质量和简化整体流程提供了更多可能。机器视觉的主要用途是检查、测量和机器人引导。

研究人员开发了一种非侵入性果实成熟度检测方法

2019年6月25日

2019年6月25日

昆士兰的研究人员开发了一种新工具,可以在收获前评估芒果作物的成熟度,这可能会提高收获时间和果实质量。

机器视觉技术在农业应用研究进展

2019年3月31日

2019年3月31日

随着计算机软硬件、图像采集处理装置、图像处理技术的迅猛发展,机器视觉技术在农业的应用领域不断扩展。目前,美国、日本、德国等发达国家已经开始将机器视觉系统应用到农业生产的各个阶段,以解决人口老龄化加剧、劳动力缺失等问题引起的挑战。

工业机器视觉应用有必要使用边缘计算吗?

2019年12月17日

2019年12月17日

伴随着机器视觉技术的快速发展,在提高制造商产品质量水平的同时加快生产效率,可以说拥有巨大的潜力。这项技术的影响范围也在不断地扩大,各种新的应用注定会在我们的日常生活中发挥更大的作用。

机器视觉如何保持马铃薯片的风味完整

2019年4月23日

2019年4月23日

像Pepsico这样的食品和饮料行业巨头...

MicrochipPolarFire FPGA成像和视频开发套件加快机器视觉应用的开发与部署

2019年8月29日

2019年8月29日

制造业和工业界正在经历巨大的变化,工业物联网(IIoT)等新兴技术有望大幅提升工厂运营效率。因此,各种传感器正以前所未有的速度进行部署,让IIoT应用能够感知和洞察生产过程、工业自动化和质量控制等现实场景所发生的一切。

短波红外成像技术与原理

2019年7月25日

2019年7月25日

短波红外(SWIR)的范围占据了电磁频谱略高于近红外。在1050到2500纳米之间——短波红外范围远远超出了标准硅基成像传感器的探测能力。

深度学习+机器视觉=下一代检测

2019年9月18日

2019年9月18日

将机器视觉和深度学习结合起来,将为企业在运营和投资回报(ROI)方面提供强大的手段。因此,抓住传统机器视觉和深度学习之间的差异,并理解这些技术如何相互补充——而不是竞争或替代——对于实现投资最大化至关重要。

3D热成像技术

2019年10月30日

2019年10月30日

Fraunhofer IOF使用LWIR热像仪扩展了其高速3D相机系统。他们的数据被映射到使用黑白摄像机重建的3D点,从而获得1kHz空间热图像。

用于柔性显示器的缺陷检测系统

2019年5月10日

2019年5月10日

韩国国家计量院开发了一种用于自由曲面显示器(包括柔性显示器)的缺陷检测技术,该技术将帮助显示器制造商用在制造过程中通过拍摄的一张图像来检测缺陷。

表面缺陷检测系统方案实施的七个步骤

2019年5月24日

2019年5月24日

表面缺陷检测系统主要以相机成像和图像处理技术为主,配置合适的相机和光源可以使被检测物体凸显表面缺陷或特征,使其检测系统能够实时、准确的对物体表面缺陷进行检测。

Comments
发表评论

电子邮件地址不会被公开。 必填项已用*标注