2020年6月27日 机器视觉与计算机视觉技术

恶意的机器学习如何破坏人工智能

人工智能安全专家Dawn Song警告称,“对抗性机器学习”可用于逆向工程系统 – 包括用于防御的系统。

这是来自加州大学伯克利分校的教授Dawn Song的警告,他专门研究人工智能和机器学习所涉及的安全风险。

在麻省理工学院技术评论团在旧金山举办的EmTech Digital演讲中,Song警告说,探测和操纵机器学习系统的新技术 – 在该领域被称为“对抗机器学习”方法 – 可能会给任何想要的人造成大问题。在商业中利用AI的力量。

宋说,对抗机器学习可以用来攻击任何基于该技术的系统。

“这是一个大问题,”她告诉观众。 “我们需要齐心协力解决问题。”

对抗性机器学习涉及实验性地将输入馈送到算法中以揭示其已经训练的信息,或者以导致系统行为不当的方式扭曲输入。例如,通过将大量图像输入到计算机视觉算法中,可以对其功能进行逆向工程并确保某些类型的输出,包括不正确的输出。

宋提出了她的研究小组探讨的几个对抗学习技巧的例子。

与谷歌合作开展的一个项目涉及探测机器学习算法,这些算法经过培训,可以从电子邮件消息中生成自动响应(在本例中为安然电子邮件数据集)。努力表明,通过创建正确的消息,可以让机器模型吐出敏感数据,如信用卡号。谷歌使用这些调查结果阻止Smart Compose(一种在Gmail中自动生成文本的工具)被利用。

另一个项目涉及用一些看似无害的贴纸修改道路标志,以欺骗许多车辆中使用的计算机视觉系统。在视频演示中,Song展示了汽车如何被欺骗,以为停车标志实际上说速度限制是每小时45英里。对于依赖于此类信息的自动驾驶系统而言,这可能是一个巨大的问题。

对抗机器学习是机器学习研究人员日益关注的领域。在过去几年中,其他研究小组已经展示了如何探索和利用在线机器学习API来设计欺骗它们或揭示敏感信息的方法。

不出所料,对抗性机器学习对国防界也非常感兴趣。随着越来越多的军事系统 – 包括传感和武器系统 – 利用机器学习,这些技术在防御性和进攻性方面都有巨大的潜力。

今年,五角大楼的研究机构DARPA启动了一项名为“保证人工智能反对欺骗行为(GARD)”的重大项目,旨在研究对抗机器学习。 GARD项目主任Hava Siegelmann最近告诉麻省理工学院技术评论,该项目的目标是开发面对各种对抗性攻击时强大的AI模型,而不是简单地能够抵御特定的攻击。

Banner
Related Posts

计算机视觉和图像处理之间有什么区别?

2018年8月9日

2018年8月9日

图像处理是计算机视觉的一个子集。计算机视觉系统利用图像处理算法对人体视觉进行仿真。例如,如果目标是增强图像以便以后使用,那么这可以称为图像处理。如果目标是识别物体、汽车自动驾驶,那么它可以被称为计算机视觉。

用3D绘制世界地图使我们能够用增强现实描绘街道

2019年4月19日

2019年4月19日

如果我们要获得真实的,针对特定地点的AR或精确的机器人交付服务,那计算机需要获得精确的导航地图。

图像分类和目标检测技术有什么区别?

2020年5月20日

2020年5月20日

图像分类和目标检测技术是计算机视觉领域的重要研究方法。这些技术帮助机器理解和识别实时对象和环境,帮助数字图像作为输入。多年来,计算机视觉技术已经被应用于多个领域,包括医疗保健、制造业、零售业等等。

计算机视觉的最佳图像注释平台

2019年5月10日

2019年5月10日

我们一直在寻找最佳的图像注释平台,该平台提供多种功能、项目管理工具和注释过程的优化(当您需要注释50k图像时,每个图像减少1秒钟!)。

用于太空星系检测的计算机视觉应用

2018年8月9日

2018年8月9日

观测天文学是天文学的一个分支,它涉及记录有关可观测宇宙的数据。地面和太空望远镜每晚用于观测行星和遥远的星系。专用望远镜仪器收集存储在远程服务器中的原始数据,然后使用多个图像处理和分析通道进行处理。

利用机器学习消灭撒哈拉以南非洲采采蝇

2018年8月9日

2018年8月9日

“我们将使用数据科学来创建一个基于机器学习的自动化系统,它可以从采采蛹中快速确定是雄性还是雌性,”Zsuzza Marka说。这一系统将成为机器人分拣机的基础,我们希望该机器最终将用于撒哈拉以南非洲地区,以减轻采采蝇的危害。”

视觉系统在零售业4.0中的作用

2020年1月6日

2020年1月6日

技术在零售购物中扮演着越来越重要的角色,这一发展被称为零售4.0。我们来看看计算机视觉是如何推动这场革命的。

为什么计算机视觉项目中选择OpenCV而不是MATLAB

2019年12月25日

2019年12月25日

在目前可用于计算机视觉的许多工具和库中,有两种主要的工具OpenCV和Matlab在速度和效率方面表现突出。在本文中,我们将详细介绍这两种方法。

计算机视觉以及它在商业中是如何应用的?

2019年9月17日

2019年9月17日

事实证明,大多数人认为理所当然的东西,即能够看到、处理并对视觉输入采取行动的能力,在机器中是非常难以复制的。这正是计算机视觉(cv)的目标。虽然计算机视觉可能不如人类视觉先进,但它今天已经发展到在商业中非常重要的地步。

增强的机器人“视觉”能够与人类进行更自然的互动

2019年5月9日

2019年5月9日

在伦斯勒理工学院(Rensselaer Polytechnic Institute)的智能系统实验室里,一个名叫Pepper motors的机器人睁大了眼睛,说话轻声细语。其中一名研究人员对“小辣椒”进行了测试,当“小辣椒”准确描述自己在做什么的时候,它会做出各种各样的手势。当他交叉双臂时,机器人从他的肢体语言中识别出有什么不对劲。

计算机视觉技术的七个典型应用

2019年4月8日

2019年4月8日

计算机视觉在现实世界中已经有了大量的应用,而且这项技术还很年轻。随着人类和机器继续合作,人类的劳动力将被解放出来,专注于更高价值的任务,机器的自动处理依赖于图像识别的过程。

为什么数据科学在高级图像识别中很重要?

2020年1月17日

2020年1月17日

由于视觉和语音是两个至关重要的人类交互元素,数据科学能够利用计算机视觉和语音识别技术来模拟这些人类任务。即使它已经开始模仿和杠杆在不同的领域,特别是在电子商务部门。机器学习的进步和高带宽数据服务的使用增强了图像识别的应用。

掌握计算机视觉开发技能的8个步骤

2019年8月5日

2019年8月5日

在与几位致力于人工智能和计算机视觉项目的开发人员交谈之后,我提出了八个步骤,成为一名出色的计算机视觉开发人员。但是,在深入研究每个步骤之前,让我们看一下计算机视觉技术最适合的案例:

CV不只是安防,一文读懂计算机视觉产业链全局

2019年10月31日

2019年10月31日

作为计算机科学的分支,如今计算机视觉(Computer Vision,简称CV)已成为人工智能重要研究领域和发展方向,逐渐形成完整的产业链。

最全分类!计算机视觉的图像标注类型及应用

2019年10月9日

2019年10月9日

计算机视觉的图像标注种类繁多,应用也不尽相同。想知道各种标注技术的效果吗?一起来看看它们在计算机视觉方面的应用和独特的案例吧!

Comments
发表评论

电子邮件地址不会被公开。 必填项已用*标注