2020年9月25日 机器视觉与计算机视觉技术

3D视觉系统技术方案详解

3D视觉技术的发展

近年来,随着芯片技术的发展以及相关软硬件系统的深入,视觉传感器得到了极为广泛的应用。社会越来越智能,可以使用人工智能和大数据技术将人们记录下来的图像智能地利用起来,而不是用一个个柜子将图像、视频束之高阁。

从胶卷,到CCD 再到现在特别成熟、随处可见的CMOS,我们对图像传感器的性能追求也逐渐发生了改变。手机上开始出现前摄、后摄,后摄也出现了俗称的“浴霸”、“加特林”。在算法的加持下,每颗摄像头的用处都不一样。

而18、19年将是3D图像传感器起飞与腾飞的两年。有了3D传感器,我们就更容易做基于事件的分析并直接指导我们身边图像的优化做出体感游戏、人脸支付、机器人自动避障、工业自动分拣等应用。

2016年,AlphaGo成为第一个不借助让子而击败围棋职业九段棋手李世石的计算机围棋程序,这件事引起了人类的轰动,也展开了各种讨论。随之而来的是人工智能铺天盖地的宣传,这给了无数人信心,机器智能化的大浪潮扑面而来。

现在AI是一个很火的词。很多人都想做AI,也有很多人想往AI上面靠,AI的出现就相当于我们有了一个聪明的大脑。以前的处理器,只能处理一个特定场景的问题,AI给这个世界带来了可以自我学习、自我改进的功能,特别是对复杂场景的处理,AI更“聪明”。

可是只有AI,自动驾驶也做不起来,它还需要摄像头、激光雷达、毫米波雷达等各类传感器。

人脸识别也是非常好的一项技术,可以用来做人脸识别闸机、人脸无感支付,但是现在很多时候人脸识别还是容易受到环境干扰、黑客攻击。

所以,想把AI做好,传感器对我们进入智能时代至关重要。有了3D传感器,扫地机不会跌跌撞撞,仅凭一张照片一个视频也骗不开手机解锁,自动驾驶也能检测到来往行人、车辆,变得更安全。

3D传感器在AI几乎所有的领域都有广泛的应用,比如新零售,自动驾驶,个性化教育,智慧医疗,智能安防,智能监护,智能机器人等等。 2019年,我们也将迎来3D视觉技术在各个领域的广泛应用。

3D视觉技术方案

1、 双目视觉

谈到3D视觉,主要就是指图像不仅仅是二维的XY坐标,还要感受被拍照物体的距离远近,大小尺寸,也就是空间坐标Z。

我们人靠着左右两只眼可以估计出前方的门在3m处,桌子上的茶杯在1.5m处,远处的树大概在10m。仿生学是被应用得非常好的,通过两只摄像头,无人机可以精确分辨前方障碍物一根电线杆的距离。因为在它的左眼中,物体坐标为A,相应的视场角度α, 右眼坐标为B,相应的视场角度β,而基线距离x是早先就在机械结构上确定的。这样通过下面的公式,我们就可以得到空间点的z轴距离。

这个方法已经沿用了很多年,从技术上来说,视野里面所有的点都不可靠了,不能确定左右眼中的两个点是不是同一个点。它的优点就是观测距离远,精度高,成本相对较低。缺点就是面对单一场景,例如一面白墙,波动的水面,皑皑的白雪,绿油油的草地,我们人都会失去参考点,这时候无人机或处理器就无法计算出精确深度。

这也就是为什么双目摄像头鲜少应用在手机、人脸识别、人脸解锁等方面。

另外一个问题是,如果我们要将物体表面做一个高分辨率深度探测,那么处理器先要做多点的图像数据匹配,这个匹配算法的算力要求就超乎一般人想象,然后再执行图中公式的计算,而这个运算是三角函数级别,比较复杂。可以想象如果需要将人脸表面做1000个点的深度信息建模,那么所需要的运算量是多么的复杂。

2、结构光

2017年iPhone X面世,它采用3D结构光的方式,将我们人脸的3D数据测算出来,又一次引领了技术潮流。

对于结构光,其实也是一个很古老的技术,只不过苹果可以把它做到手机里面,还是比较让大家吃惊的。

左图是一个3d结构光的简单实验版。通过右边的投影仪可以投影出黑白相间的条纹状图案,打在一个狐狸面具上面这些条纹状的图案就会产生一定的畸变。通过CCD相机将这个畸变的形状拍下来之后,便可以通过这个畸变的状态,去计算出这个面具相应的凹凸不平的3D信息。比如条纹向左弯曲,就代表凸起,向右弯曲代表凹陷。

单点结构光的三角测距法基本原理如右图,激光光源打出一个很小很亮的红点,传感器接收到之后,就可以在sensor表面找到这个特别亮的点的坐标(x’,y’)。结合光源的投影角,基线距离b,镜头焦距f,就可以通过上面的公式解析出三轴坐标(x,y,z)了。

而IPHONE X使用了3万个点的投射器,然后通过一百四十万像素的红外摄像头,将这些投射点的信息全部都采集回来,这中间一个最复杂的问题,就是要将这3万个点每一个点精确匹配。这里面最难的就是要精确找到打在脸上的点的精确ID,也就是得知道打出点的投射角,基线距离。这个匹配算法是需要非常大量的计算的。而且为了降低计算量,这3万个点的排布在我们看来是随机的,实际是符合某种数学几何规律的。

可以看到这个计算公式里面包含了各项几何参数,所以对组装工艺要求很高,而且后期客户将手机摔倒了或者震动,都可能会影响3D测量精度。

另外这块由于专利的保护,别人很难进入。所以业内对于苹果能推出这个方案,还是很佩服的,苹果还是具备相当强大的工程能力。因为IPHONE X的利润率不错,苹果可以做这块的事情。而别的厂商做这个就挺痛苦的,受限于成本和技术难度。

3、ToF

Time of flight,也就是飞行时间。最早的飞行时间是1638年伽利略做的一个实验。早前科学家们会为了解决测量光速而想了一系列的办法。

而现在我们采用这个原理,因为光速是已知的,且有很多近现代的精确的方法去测量。这时候只需要知道信号的延迟,就可以测量一个物体的精确距离。

举例说明,两纳秒的时间光飞行了60厘米。然后对于单纯的行程来说,也就是30厘米。可是如果要做人脸识别,或者要做一个避障的话,那基本上的最低要求就是在1厘米的范围内。到人脸识别可能要更高,比如3毫米。那么这个时间基本上就是在皮秒级。

这个方案的最大难度就是要控制电学系统以及光学系统做到非常高精度的计时。

从软件的复杂度来说,双目视觉是最高的,因为它要在一个相对不确定性的图片上找到精确匹配的两个点。

从物料的成本上来说,结构光需要一个非常高的装配精度,这时候就会出现比较多的“废品”,综合来看,材料损耗是非常大的。而这两个问题,ToF都基本上以硬件的方法做了,所以这两点相对都会比较占优势。

既然ToF都已经做到了皮秒级和纳秒级的响应,那么无论是帧率还是处理速度,基本上都是凭借硬件的运算能力去决定,所以ToF可以做到非常高的帧率。

从测距精度来看,双目方案在碰到一些比较单调的物体的时候,基本上就没有办法再讨论精度的问题了;结构光在目前确实是相对精度比较高的,像一些工业的应用,可能现在还是以结构光为主;而ToF的测距精度有待于电学芯片提高时间测量精度,如果能够将皮秒级的延迟测量精确到飞秒级,那么ToF的测量精度又可以进一步的提高。

因为场景应用很复杂,例如,想在夜晚用3D摄像头时,那么双目就会比较困难,原因是它没有自己补光的补光灯。而结构光和ToF都是主动发光型的方案,所以在这一块,它们相对占优。

而在一个夏日炎炎的室外场景,太阳光中就包含了很多干扰光的能量。双目摄像头其实特别喜欢这种清晰的场景,但是结构光由于自己发出的光点容易被太阳的光淹没在噪声或背景光里,这时候就会影响它的分辨精度,甚至完全没办法测距。

而ToF采用的技术方案需要将光能量进行一个非常高频率的调制,这个调制光可以做到瞬间的能量超过太阳光,所以ToF对于太阳光的依赖性会大大降低。

从功耗上来看其实三者不会差别很大,ToF介于双目和结构光之间。但如果考虑到整体的3D视觉系统方案及处理器,ToF还是相对占优的,原因是运算量会大大降低。众所周知,现在的AI芯片即使再好,功耗其实相对来说很高的。

从探测的范围来看,如果要保持一个相对较高的精度,那么双目的探测范围就不会特别远,因为横向坐标差异一定要达到一个级别,才可以探测到比较远处的物体。而如果想看到100米,那么摄像头可能得有1600万或2000万像素。

结构光能看多远,主要取决于它的光点打在物体上,那个光点的能量是否能回到他的镜头。

而由于ToF采用了调制光的方法,可以将发光部分的能量提得相当的高。这时候,距离远近是可以根据场景来调节的。比如现在做到100米的激光雷达是很多的。而大家目前为止可能相对关注的一个指标,就是300米,能适用于高速路况的驾驶。

3D应用场景像3D电影这块是用双目摄像头去拍摄的,像3D的扫描现在用结构光和ToF比较多。然后像人脸识别、手势接近或手势识别这块,ToF应用也挺广泛的。AR和VR这块应用还有待3D空间场景建模好之后再行讨论。

Banner
Related Posts

自主机器视觉系统Inspekto S70

2019年12月18日

2019年12月18日

自主机器视觉(AMV)是通过机器学习的技术,让视觉系统拥有自动识别对象的能力,它为质量保证提供了革命性的方法,同时将使巨额投资和长时间停机成为过去。

基于机器视觉的监测系统​

2019年11月3日

2019年11月3日

本研究基于机器视觉技术,结合Python语言,openCV库等,编写出了一套高精度,高稳定性的位移监测算法,以Nvidia Jetson开发板为载体,结合单片机,红外传感器等,设计制造了一套具有形变监测与预警功能的系统。

嵌入式视觉:通过软硬件协作获得成功

2019年3月21日

2019年3月21日

在可预见的未来,嵌入式视觉技术不会完全取代传统的、基于PC或智能相机的机器视觉系统。然而,从技术和经济的角度来看,它确实在许多应用领域提供了非常有效的解决方案。

CCD成像在光源和色彩检测中的优势和应用

2019年7月25日

2019年7月25日

人类视觉感知是任何旨在被人类观看的照明或显示产品质量的最终标准。从平板电视到智能手机,灯泡到交通信号,VR球场的jumbotrons体育场,您的车内GPS到喷气式飞机的驾驶舱仪表,人类用户感知的以及他们注意到的任何缺陷都是决定性因素设备质量。人类对亮度和颜色的感知为操作和安全公差设定了基准。

红外相机热成像在缺陷检查中的应用

2019年6月1日

2019年6月1日

制造商正在使用红外摄像机来辅助预防性维护,并发现与热相关的装配过程中的缺陷。

新的视觉系统可以在传感器内计算,无需将信息转换成数字格式

2020年3月5日

2020年3月5日

研究人员开发了一种图像传感器阵列,它作为自己的人工神经网络,可以同时捕获和识别光学图像,无需将信息转换成数字格式即可快速处理信息。

机器视觉模式匹配的基础:光源、相机、算法

2019年10月11日

2019年10月11日

机器视觉系统还需要能够发现和识别模式。任何机器视觉任务的第一步都是模式匹配,即根据形状属性(如边缘)的预期排列,在视场中定位目标。这个过程是如何工作的?

科创板|天准科技:中国机器视觉第一梯队企业

2019年6月2日

2019年6月2日

2019年5月27日,上交所决定将于6月5日召开第1次审议会议,审议深圳微芯生物、安集微电子科技、苏州天准科技3家企业的发行上市申请。

反光物体机器人机器视觉解决方案

2019年4月9日

2019年4月9日

SwRI和ROS-Industrial integrated intelligent parts reconstruction在ROS2框架内,用于提高工业机器人的三维图像感知能力,用于路径规划和路径点密集操作,如零件打磨。

深度学习在产品缺陷检测中面临的考验

2019年12月13日

2019年12月13日

人工智能(AI)的发展促使数很多公司投资于深度学习软件,对于视觉行业来说是个好兆头,因为需要在技术上实现飞跃。但是,对于采购或投资相关产品的的用户而言,重要的是要了解如何正确地评估深度学习软件可用性 ,以及它们如何工作的。

Teledyne DALSA的Linea HS 16k多场TDI相机

2019年11月28日

2019年11月28日

机器视觉技术公司 Teledyne DALSA ,近日推出其最新的电荷域CMOS TDI相机——Linea HS 16k多场TDI相机。多场成像允许最终用户捕获多个图像,例如一次扫描即可同时显示明场、暗场和背光图像。

莫尔法成像方法可增强机器视觉中的3D图像

2019年8月1日

2019年8月1日

我们通常认为,使用正确的照明是机器视觉应用成败的关键。低角度照明可能会带来表面纹理或有用的阴影,背光提供干净的部分轮廓,偏振滤光片可以减少不必要的眩光。这些众所周知且广泛使用的工具已经存在了几十年。

用机器视觉法监测石榴成熟过程

2019年11月19日

2019年11月19日

瓦伦西亚农业调查研究所(IVIA)、米格尔·埃尔南德斯·德埃尔切大学和巴伦西亚理工大学的科学家们研究了两种用于石榴质量监测的机器视觉技术。

涂布纺织品皮革表面缺陷检测解决方案

2019年7月2日

2019年7月2日

本文详细地介绍了基于自适应视觉算法的表面缺陷检测的应用原理及实际案例。同时以涂布、纺织品和皮革等类似行业的实际案例验证了该原理的可行性和实用性。介绍了能应用于涂布、印刷、涂布、塑料、橡胶、薄膜及皮革等缺陷检测的通用解决方案。

机器视觉技术发展的五大趋势

2019年6月21日

2019年6月21日

在过去的一年里,人工智能(AI)、大数据、3D成像和机器人过程自动化等领域在取得了空前的发展。在即将到来的2019年,机器视觉技术应用还将蓬勃发展,新机器视觉认为五大发展趋势将引领行业应用。

Comments
发表评论

电子邮件地址不会被公开。 必填项已用*标注