2020年9月22日 机器视觉与计算机视觉技术

如何开发面向企业的机器学习应用软件

如今,大多数企业依赖机器学习(ML)应用程序来了解商机、识别市场趋势、预测客户行为和价格波动,以及做出正确的业务决策。开发这些机器学习应用程序需要遵循严格的计划和步骤。问题构建、数据清理、特征工程、模型培训和提高模型精度是开发机器学习应用程序可以遵循的几个步骤。

机器学习是人工智能技术的一个子集,它不仅有助于决策,而且有助于理解历史数据。机器学习是一种在数据中发现模式并围绕这些发现建立数学模型的技术。

一旦我们建立并训练了一个机器学习算法来形成这些数据的数学表示,我们就可以使用这个模型来预测未来的数据。例如,在零售业,根据历史购买数据,我们可以使用学习的算法预测用户是否会购买特定产品。

机器学习算法的类型

机器学习算法可以分为三类:

1.监督机器学习

2.无监督机器学习

3.强化机器学习

在企业中,我们大多使用有监督的机器学习算法来执行诸如分类(二进制和多类)、活动监视、预测数值等任务。我们还将无监督机器学习技术用于一些应用,如分组或聚类、降维和异常检测。

虽然这两种方法对企业都有许多实际意义,但强化学习(RL)对于交通行业的路径优化等业务应用非常有限。然而,RL正经历着广泛的研究,慢慢地取代了有监督和无监督的学习。相信我,RL拥有商业的未来,而且是超级强大的。

典型案例

为什么强化学习如此强大?

这是AlphaGo和AlphaGoZero的故事。

围棋是世界上最古老的棋盘游戏。它是如此的复杂,如果你从空板上计算所有的组合,它将有超过宇宙中粒子总数的组合。

DeepMind建立了基于强化算法的AlphaGo算法,通过分析游戏和与真实玩家比赛来学习。2015年10月,它以5比0战胜了职业球员范辉。

2016年3月,AlphaGo的对手是围棋冠军李世石(Lee Sedol)。每一位围棋专家都确信,李世石(Lee Sedol)将很容易以5比0击败AlphaGo。

Deep Mind再次邀请樊辉来检查AlphaGo在当时是如何通过强化学习算法成为一名训练有素的棋手的,以及它的进步有多大。在检查过程中,樊辉发现AlphaGo有一个很大的弱点,但是没有时间去纠正它。

令所有人惊讶的是,AlphaGo以4比1赢得了比赛。李世石发现了AlphaGo的弱点,并在第四轮战胜了AlphaGo。然而,AlphaGo只用了一场比赛就提高了自己的能力,尽管实力较弱,但还是在第五轮战胜了李世石。

AlphaGo是通过视频来学习围棋的。下一个版本名为AlphaGoZero,它只是通过与自己对弈和提供基本规则来学习这款游戏。在短短三天的训练中,它就超越了AlphaGo的能力,后者击败了世界冠军李世石(Lee Sedol)。

虽然这是通过强化学习实现的,但在其中,他们使用深度卷积神经网络(CNN)来处理图像。CNN是一种广泛应用于商业应用的深度学习算法。

何时使用机器学习

机器学习是一个强大的工具,但不应该经常使用,因为它的计算范围很广,需要定期培训和更新模型。有时候,依靠传统软件比机器学习要好。

对于某些用例,我们可以在不需要机器学习的情况下构建一个健壮的解决方案,它可以依赖于规则、简单的计算或预先确定的过程来获得结果和决策。这些东西很容易编程,不需要任何详尽的学习。因此,专家建议在某些特殊情况和场景中使用机器学习:

有两种情况我们可以使用机器学习解决方案:

1.无法代码规则:

任务不能通过部署一套rulesDifficulty识别和实现

识别和实施规则困难

多个规则齐头并进,很难编码

其他因素使基于这些因素的规则编码变得困难

重叠规则呈现不准确代码

2.数据规模高:

当您可以从几个样本中定义规则,但是很难扫描数百万个数据集以获得更好的预测时。

机器学习可以用于上述两种情况,因为它提出了一个包含规则的数学模型,可以解决大规模的问题。

开发机器学习应用程序的步骤

构建机器学习应用程序是一个迭代过程,并遵循一组序列。以下是开发机器学习应用程序所涉及的步骤:

问题框架

第一步是根据我们想要预测的以及我们必须做出这些预测的观测数据类型来构建一个机器学习问题。预测通常是一个标签或目标答案;它可以是是/否标签(二进制分类)或类别(多类分类)或实数(回归)。

收集和清理数据

一旦我们确定了问题的框架并确定了我们有什么样的历史数据用于预测建模,下一步就是从历史数据库、开放数据集或任何其他数据源收集数据。

并非所有收集的数据对机器学习应用程序都有用。我们可能需要清理不相关的数据,这些数据可能会影响预测的准确性,或者在不帮助结果的情况下进行额外的计算。

准备ML应用程序的数据

一旦数据准备好用于机器学习算法,我们就需要以ml系统能够理解的形式转换数据。机器无法理解图像或文本。我们需要把它转换成数字。它还需要根据机器学习应用程序的需要构建数据管道。

特征工程

有时原始数据可能无法揭示有关目标标签的所有事实。特征工程(feature engineering)是一种将两个或多个现有特征与更相关、更合理的算术运算结合起来创建附加特征的技术。

例如:在计算引擎中,ram和cpu的使用率通常达到95%,但当ram使用率为5%而cpu为93%时,情况就很糟糕了。我们可以将ram对cpu的使用率作为一个新特性,这可以提供更好的预测。如果我们使用深度学习,它会自动构建特性本身;我们不需要显式的特性工程。

训练模型

在训练模型之前,我们需要将数据分割成训练和评估集,因为我们需要监控模型对不可见数据的泛化程度。现在,算法将学习特征和标签之间的模式和映射。

根据激活函数和算法的不同,学习可以是线性的,也可以是非线性的。影响学习和训练时间的超参数有很多,比如学习速度、正则化、批量大小、遍历数(历元)、优化算法等等。

评估和提高模型精度

精确度是一种度量方法,用来知道一个模型在一个不可见的验证集上的表现是好是坏。基于当前的学习,我们需要评估一个模型在一个验证集上的表现。根据应用程序的不同,我们可以使用不同的精确度度量方法。例如,对于分类,我们可能使用精度和召回或F1评分;对于对象检测,我们可以使用IoU(联合之上的交互)。

如果一个模型做得不好,我们可以将问题分为1)过拟合和2)欠拟合。

当一个模型在训练数据上做得很好,但在验证数据上做得不好时,它就是过拟合场景。不知何故,模型不能很好地推广。该问题的解决方案包括正则化算法、减少输入特征、消除冗余特征以及使用k-fold交叉验证等重采样技术。

在拟合不足的场景中,模型在训练和验证数据集上都做得很差。解决这个问题的方法可能包括使用更多的数据进行培训、评估不同的算法或体系结构、使用更多的遍历、测试学习速度或优化算法。

经过迭代训练,算法将从输入数据中学习一个表示这些标签的模型,该模型可用于对不可见数据进行预测。

与生产中的模型一起服务

经过训练,该模型对未知数据的处理效果良好,可用于预测。这对企业来说是最重要的。这也是面向业务的机器学习应用程序最困难的阶段之一。在此阶段,我们将模型部署到生产环境中,以便对实际数据进行预测,从而得到结果。

结束

机器学习是一种使能技术,但如果我们不按照正确的计划和执行对算法模型进行培训和学习,我们可能会失败。因此,对于想要构建复杂机器学习系统的企业来说,雇佣人工智能和机器学习服务提供商并专注于它们的核心竞争力始终是一个好主意。

Banner
Related Posts

视觉技术在眼科诊断治疗中应用

2019年3月24日

2019年3月24日

世界卫生组织(WHO)估计,世界上有超过13亿的视障人士,其中3600多万人是盲人。印度是世界第二大人口大国,失明对印度来说并不陌生。根据视力中心的一份报告,每三个盲人中就有一个是印度人。这个国家拥有世界上30%以上的盲人人口,估计有1200万人。

DeepFly3D:设计飞行类机器人的深度学习方法

2019年10月12日

2019年10月12日

EPFL的科学家们开发了一款基于深度学习的动作捕捉软件,该软件使用多个摄像机视图来模拟苍蝇的三维动作。最终目标是利用这些知识来设计飞行型机器人。

研究人员设计了基于AI的检测MS治疗反应的方法

2019年6月12日

2019年6月12日

UCLH的生物医学研究中心支持开发一种新的基于人工智能的方法,用于检测大脑对多发性硬化症(MS)治疗的反应,这种方法明显优于医学专家使用传统技术在治疗效果。

德国人工智能技术发展现状和未来趋势

2019年3月10日

2019年3月10日

人工智能是介于机械工程和计算机科学、心理学之间的领域。要了解人工智能,必须要了解机械工程学与语言学,它是一个跨学科领域的研究

基于人工智能的IIOT监控平台IntelliView vision System (IVS) 5.0发布

2019年4月27日

2019年4月27日

IntelliView Technologies是一款基于人工智能的计算机视觉系统,用于工业检测和报警应用。据报道,该公司已经为其IIOT监控平台IntelliView vision System (IVS) 5.0发布了最新的软件更新。

人工智能、机器学习和机器人领域的7名女性领军人物

2019年5月28日

2019年5月28日

这些女性是人工智能、ML和机器人等前沿领域的领导者。看看他们已经取得的科技成果和应用的领域。

人工智能在银行数字化文档中的应用

2019年4月25日

2019年4月25日

光学字符识别(OCR)是机器视觉技术的一个子集,其重要是用于识别书写的字母和字符,并以数字方式进行再现复制以供以后使用。这为银行业带来了许多可能性,包括一些安全解决方案,尤其是文档数字化方面。

新型人工智能计轴仪为收费公路运营商提供关键信息

2019年11月19日

2019年11月19日

意大利交通摄像头和机器视觉开发商Tattile发布了一款基于深度学习人工智能技术的小型轴识别和计数系统,用于高速收费和其他应用。

《2019年科技趋势报告》出炉:中国稳居AI研发全球第一

2019年3月14日

2019年3月14日

11日,Future Today Institute发布了第12份年度科技趋势报告,报告中给出了315个趋势,略高于去年的225个。这份报告总结分析了能源、机器人、人工智能、交通、数据、隐私及安全等领域的热门趋势。

2019年十大领先的计算机视觉初创公司

2019年4月8日

2019年4月8日

计算机视觉是昨日兴起的一项技术,如今已成为一项时髦的技术。计算机视觉使机器或计算机能够从多维数据源和图像中获取数据和信息,从而将其转化为有价值的见解。

2019年全球人工智能领域事件大回顾

2019年12月26日

2019年12月26日

在2019年,人工智能的发展尤其令人难以置信,无论是在机器学习、神经网络、视觉、自然语言处理(NLP)等领域。这一年见证了技术的进步,为几年前人们无法想象的事情的进一步改进打开了新的大门。今天,由于人工智能在几乎所有部门、行业、国家和地区的潜力,还有更多的可能性。

由机器视觉和人工智能驱动的3D打印机

2019年6月4日

2019年6月4日

麻省理工学院的创业公司Inkbit通过赋予其机器“眼睛和大脑”来克服传统的3D打印限制。

13项令人难以置信的人工智能技术

2019年11月12日

2019年11月12日

到目前为止,我们大多数人都意识到人工智能(AI)正日益成为我们日常生活的一部分。但是,如果我们中的许多人了解到人工智能已经知道如何去做的一些技能,他们会感到相当惊讶。以下是人工智能今天已经可以做到的13项令人兴奋的技能。

2020年37个人工智能技术发展趋势

2019年8月30日

2019年8月30日

人工智能技术的发展趋势无法阻挡。人工智能将影响我们生活中的不同行业,人们充满期待。自从出现人工智能,工业的基础开始向好的方向改变。现在,众多的企业,不管他们的行业类型,都想参与这个技术奇迹中。

2019年国内AI专业报考指南

2019年6月28日

2019年6月28日

人工智能无疑是最时髦的,但这专业太新,新到目前网络上还未出现“千万别报人工智能专业”的调侃段子。因此,AI专业到底适不适合自己、究竟该报哪个学校的AI专业、有什么注意事项,依旧是有意向的同学们需要认真思考的问题。

Comments
发表评论

电子邮件地址不会被公开。 必填项已用*标注