2020年7月2日 机器视觉与计算机视觉技术

工程点扩展函数(E-PSF)技术可以实现高精度3D成像

机器人和自动化改变了制造业面貌,对工业检测的需求也在日益增加。工程点扩展功能(E-PSF)技术的进步,使制造商能够采用高分辨率3D成像,来改进物体和特征检测。这些E-PSFs可以以光学相位板的形式实现,并可以集成到现有的成像系统中。

一旦集成,成像系统就可以通过改善景深和细节来执行近距离元件检测,从而可以对较小或微小物体进行成像和缺陷检测,精度甚至可达亚微米级。

一种光学相位板,其支架上具有点扩散函数(PSF)设计,可以蚀刻在相位板上。

除了检查之外,3D成像在机器视觉、物体识别和导航等高增长应用领域(如无人机、机器人和触觉学)也大有前途。现在有可能将这种新的光学技术集成到现有的系统设计中,且不会增加系统的占用面积。

行业局限性

虽然我们生活在三维世界中,但从历史上看,大多数成像系统只能捕捉二维信息。在包括制造和机器人在内的各种环境中获取和使用3D信息的方法已经研究了几十年,但仍然是一个具有挑战性的问题,尤其是在无约束的环境中,可能包括可变照明、镜面和变形的场景表面,以及被遮挡的对象。这些环境降低了空间意识,这反过来意味着系统难以执行对人类来说很容易的任务,比如从一个箱子中选择组件。无约束环境也为亚微米大小的对象的检查带来了挑战。然而,随着增材制造技术使更多具有微米级特征的部件的制造成为可能,先进的3D检测和计量变得至关重要。

在过去的十年里,深度传感设备(即3D相机)的数量出现了微小的爆炸。这些系统要么使用立体视觉设置,要么使用最新的创新技术(如结构化照明、飞行时间和光场),对于大规模(厘米到公里)测量物体的三维形状和位置非常有用。

标准光学系统的PSF与双螺旋相位掩模的PSF比较。

然而,这些成像方式在检查厘米到毫米范围内的近距离物体时面临着各种限制。例如,立体视觉系统在短距离工作时会变成“斜视”。结构光方法受投影光的空间频率与物体特征之比的限制,以及需要非遮蔽照明(通常需要陡峭的照明角度)的限制。飞行时间方法受传感器定时率的限制。此外,光场方法受有限分辨率和透镜阵列大小的限制。这些技术中的每一种都可能受到硬件复杂性、大小、功耗或成本的额外限制。使这些局限性更加复杂的是,越来越多的人期望制造商能够精确测量微小结构的三维特征。

面对这些挑战,3D对象捕获的新方法是不可避免的,并且将扩展功能并在3D机器视觉,手势识别和机器人技术等领域提高精度和深度分辨率。

E-PSF技术的精髓

E-PSF技术的本质是通过将掩模的尺寸和设计与光学系统和成像条件精确匹配,简单地改变成像系统的光学响应。在显微镜下,相位掩模符合显微镜物镜的规格和实验对焦深度的要求。

这种特殊设计的相位掩模通过在波前的某些部分引入相位延迟来改变光学响应,从而可以改变对焦和离焦物体点的PSF形状。双螺旋PSF (DH-PSF)1设计就是一个例子,它将一个单点的图像从透镜的圆形孔(称为艾里圆盘)产生的聚焦光斑改变为两个分离良好的斑点。

这两个分离良好的点的中点对应着物体的横向位置,两个点之间的夹角对应着物体的轴向位置。由于旋转180°时光斑可以保持聚焦,因此可以高精度地获取扩展深度信息。

使用DH-PSF收集的数据由许多这些在不同方向上与物体的横向(X-Y)和轴向(Z)位置相对应的分离良好的点组成。从这些详细的目标点数据集创建一个清晰的三维图像是一个复杂但可以解决的图像重建问题。经过处理,结果是原始对象的一个清晰的三维结构。

基于应用的深度和精度要求以及对象的信噪比(SNR),已经针对不同的应用设计了几种类型的E-PSF。除DH-PSF外,设计还包括单螺旋PSF,四足PSF2和多色PSF设计。

E-PSF技术的第一个商业应用是对用于3D超分辨率成像和跟踪的现有宽视场显微镜的升级。 SPINDLE是一个专有的注册产品名称,可以成像和跟踪单个分子或纳米粒子的水平。 SPINDLE使用标准C型安装座在任何宽视场显微镜和电子倍增CCD(EMCCD)或科学CMOS(sCMOS)相机之间无缝安装。可互换的相位掩模库使得能够优化PSF以适应用户的应用。应用包括细胞结构的成像,精度为20至25 nm,深度范围高达20μm,无需改变用户现有的成像系统设置。

从微观到宏观

虽然E-PSF技术的最初应用是在超分辨率显微镜中,但通过将相位掩模的尺寸缩放到成像系统,E-PSF的物理特性可以广泛应用于任何成像系统。例如,当应用于机器视觉领域时,E-PSF克服了前面提到的其他3D成像技术所面临的许多挑战。

Double Helix Optics的相位掩模库。

此外,E-PSF相位板可以通过直接集成或通过相机镜头和传感器之间的无源光学中继器集成到许多现有的2D成像系统中。如果2D相机可以解析检查区域,则E-PSF可以提供该系统深度感知。

目前,第一个采用E-PSF技术的商用3D机器视觉系统正在开发中。该技术的实现将同时提供亮度图(2D图像)以及距离信息(深度图),因此场景内的每个对象特征与其在3D空间中的精确位置相关联。

与现有方法相比,用于机器视觉的E-PSF方法具有以下几个优点:

结合相位板可重塑焦点,实现深度捕获,对2D系统性能的影响有限且阴影最小。

通过设计E-PSF以匹配使用中的2D镜头,可以优化E-PSF 3D成像系统的深度分辨率和景深。

带有浮雕字母的信用卡的图像(a)。以颜色(b)编码的深度(以微米为单位)恢复的深度图。用亮度图(C)覆盖的深度图的三维视图。

E-PSF技术可以作为现有2D成像系统的附件实现,也可以作为可以结合到现有2D镜头系统中的相位板实现。对于专为E-PSF设计的3D机器视觉系统,相位板几乎不会增加体积或重量。对于采用OEM或售后成像组件的系统,在大多数情况下不需要第二相机或额外的光源。

E-PSF技术通过使传统的2D成像系统能够同时捕获高分辨率的深度和强度信息,为工业检测,材料科学和其他商业应用开辟了许多可能性。此外,该传感器可以低成本大规模生产,可用于机器人,3D扫描仪,先进制造和人机界面等领域。成像传感器现在广泛而便宜,计算能力(已经是大多数相机不可或缺的一部分)也一样,创造了以额外但有限的成本增加3D功能的机会。

认识作者

Leslie Kimerling是总部位于科罗拉多州博尔德的3d成像公司双螺旋光学(Double Helix Optics)的联合创始人兼首席执行官。她拥有斯坦福大学经济学硕士学位和加州大学洛杉矶分校安德森管理学院MBA学位;

Warren Colomb是双螺旋光学公司的光学系统工程师,他拥有科罗拉多矿业大学应用物理学博士学位;

Anurag Agrawal是双螺旋光学的首席光学科学家,他拥有科罗拉多大学博尔德分校电子工程(计算光学成像)博士学位;

Banner
Related Posts

莫尔法成像方法可增强机器视觉中的3D图像

2019年8月1日

2019年8月1日

我们通常认为,使用正确的照明是机器视觉应用成败的关键。低角度照明可能会带来表面纹理或有用的阴影,背光提供干净的部分轮廓,偏振滤光片可以减少不必要的眩光。这些众所周知且广泛使用的工具已经存在了几十年。

改善机器视觉系统的十大方法

2018年8月9日

2018年8月9日

机器视觉是一个新兴领域,如果设置正确,可以减少过程效率低下。任何使用机器视觉作为机器人引导或检查的设施都应重视这一领域,以寻求可能的改进。

反光物体机器人机器视觉解决方案

2019年4月9日

2019年4月9日

SwRI和ROS-Industrial integrated intelligent parts reconstruction在ROS2框架内,用于提高工业机器人的三维图像感知能力,用于路径规划和路径点密集操作,如零件打磨。

表面缺陷检测系统方案实施的七个步骤

2019年5月24日

2019年5月24日

表面缺陷检测系统主要以相机成像和图像处理技术为主,配置合适的相机和光源可以使被检测物体凸显表面缺陷或特征,使其检测系统能够实时、准确的对物体表面缺陷进行检测。

机器视觉检测系统完整解决方案以及开发流程

2019年4月25日

2019年4月25日

机器视觉一词可以想象是具有一组眼睛的计算机进行检测或检验行为。为了开发机器视觉应用的完整解决方案,视觉工程师执行一系列通常分为五个类别的任务:计划,设计,构建,集成和验证。

机器视觉可以使用无线电波来穿透墙壁和黑暗

2019年10月10日

2019年10月10日

机器视觉有很强的识别能力。它具有超人的能力来识别人、脸和物体。它甚至可以识别许多不同的行为。

用于柔性显示器的缺陷检测系统

2019年5月10日

2019年5月10日

韩国国家计量院开发了一种用于自由曲面显示器(包括柔性显示器)的缺陷检测技术,该技术将帮助显示器制造商用在制造过程中通过拍摄的一张图像来检测缺陷。

基于计算机视觉和深度学习的智能缺陷检测

2019年9月4日

2019年9月4日

自亨利·福特首次引入装配线系统以来,质量控制一直是制造中的一个关键因素。其理念是,质量可以通过大规模生产流水线来实现,只要每个人在生产过程中各尽其责。从那时起,我们显然已经走了很长一段路。传统的装配线仍然以许多形式存在,尽管机器已经取代了许多手工过程。

深度学习在机器视觉系统中的应用详解

2019年4月24日

2019年4月24日

随着机器视觉技术的不断发展,系统在不需要计算机编程的情况下也可以具有分析和分类对象的能力。而人工智能(AI)和深度学习是推动机器视觉发展的重要技术手段。

细数机器视觉的9大应用场景

2019年7月23日

2019年7月23日

本文主要介绍了机器视觉的主要应用场景,目前绝大部分数字信息都是以图片或视频的形式存在的,若要对这些信息进行有效分析利用,则要依赖于机器视觉技术的发展,虽然目前已有的技术已经能够解决很多问题,但离解决所有问题还很遥远,因此机器视觉的应用前景还是非常广阔的。

基于3D技术的机器视觉解决方案

2018年8月9日

2018年8月9日

随着机器视觉领域测量技术的多元化发展,3D视觉技术必将成为一种重要的检测手段。3D视觉技术行业中越来越受到欢迎和重视。近年来,3D视觉领域的市场容量也在快速增加,相信3D市场必将成为机器视觉的一个主流的重要检测手段。

在图像处理中应用深度学习技术

2019年3月28日

2019年3月28日

深度学习应用凭借其在识别应用中超高的预测准确率,在图像处理领域获得了极大关注,这势必将提升现有图像处理系统的性能并开创新的应用领域。

机器视觉如何改变金融服务

2019年9月9日

2019年9月9日

事实证明,在金融领域应用机器视觉不仅对企业有利,而且对一般消费者也有利。尽管这在5年前似乎遥不可及,但金融机构一直在使用先进技术开展业务。这些技术能够改进客户体验并减轻员工的工作负担。

用机器视觉法监测石榴成熟过程

2019年11月19日

2019年11月19日

瓦伦西亚农业调查研究所(IVIA)、米格尔·埃尔南德斯·德埃尔切大学和巴伦西亚理工大学的科学家们研究了两种用于石榴质量监测的机器视觉技术。

基于相机和激光传感器的车顶视觉检测系统

2019年4月24日

2019年4月24日

像多单元高速列车这样的现代轨道车辆需要定期进行检查维护,以确保最车辆的安全稳定运行,增加使用寿命并最大限度地减少列车的磨损

Comments
发表评论

电子邮件地址不会被公开。 必填项已用*标注