导航菜单

为什么全栈式AI解决方案对AI落地至关重要?| CCF-GAIR 2019

凯发电游手机版

  

编者按:7月12日至7月14日,第四届全球人工智能与机器人峰会(CCF-GAIR2019)在深圳正式举行。此次峰会由中国计算机学会(CCF)主办,由雷锋网和香港中文大学(深圳)主办,由深圳人工智能与机器人研究所共同主办。它得到了深圳市政府的大力指导,是国内学术和机器人学术界和工业界。行业三大领域和投资界的顶级交流展旨在打造中国人工智能领域强大的跨境交流合作平台。

未来,人工智能将无处不在。我相信大多数人都不会反对这种观点,但为了实现人工智能无处不在的愿景,除了解决计算能力,算法和数据这三大挑战外,它还面临成本,复杂性,可扩展性和数据。隐私等多重困难。由于人工智能的大规模着陆复杂性如此之高且具有挑战性,技术创新有多重要?全栈AI解决方案能否显着加速AI技术的登陆?

AI带来了哪些变化?

AI智能扬声器,手机AI语音助手,AI相机,AI美女都是普通消费者触手可及的AI产品和功能。虽然这些AI产品不足以满足消费者的需求,但AI显然是吸引消费者购买产品的一大卖点。

与消费领域相比,AI是产品的卖点。在金融,工业,物流等领域,人工智能正在改变这些行业。许多人工智能技术已应用于电网。例如,现在许多电线杆沿着河流竖立,线架不高。虽然有许多“没有钓鱼”的通知和巡逻人员,但仍有许多钓鱼电击。该公司已与电网公司合作开发网络钓鱼监控系统。如果它发现某人正在河边的电力线下捕鱼,它将进行广播和说服。据报道,网络钓鱼监控系统于2019年4月部署。7月,电网线下共有280多名网络钓鱼人员被赶走,在网络钓鱼监控范围内没有新的网络钓鱼电击事件。系统启动后的监控系统。

基于AI的网络钓鱼监控系统可以显着减少安全事故,但AI的价值显然并不止于此。在快递领域,如何降低运营成本,提高服务和运营效率是一项重大需求。云达快递采用人工智能解决这些挑战,最终有效提升快递物流系统的运营效率,大大降低了劳动力和劳动力成本。节省成本高达7000万美元。

AI视觉技术在工业领域也取得了显着成效。在大规模产品的制造过程中,过去通过人眼识别和缺陷的发现检测产品不仅效率低,而且精度低。当使用AI技术进行缺陷检测时,图像预处理的性能提高了4倍,模型推理时间缩短了16倍。

在医学图像分析领域,健培科技可以利用人工智能技术高效地执行X射线,CT,MRI等医学成像源,数字图像分析与通信(DICOM)图像分析性能提高8倍。

还有一个很酷的AI应用程序,欧洲核研究组织(CERN)负责运行大型强子对撞机(LHC),每秒需要4000万次碰撞并产生大约1 PB的数据。计算和存储构成了巨大的挑战。他们希望过滤掉对研究分析有价值的数据,将每秒生成的数据量从1PB减少到10TB。通过AI,他们最终成功实现了端到端的完整数据管道粒子分类器,并且易于扩展。

在上述情况下,280,70,4,8,16和1PB到10TB的数量代表了安全性,成本和效率的提高,这是AI带来的量化变化。这些量化方面的重大改进背后是英特尔与行业合作伙伴的深度合作,合作解决技术问题,并且是英特尔AI技术平台和全栈解决方案实力的体现。

戴金泉,英特尔高级首席工程师,大数据技术全球首席技术官

端到端大数据处理+分析平台是人工智能部署的关键

无论是Rhyme Express,Midea,Jianpei Technology还是CERN,他们都更关注软件解决方案如何支持他们的业务,这也是AI部署的痛点。英特尔大数据技术高级总工程师兼全球首席技术官戴金泉在CCF-GAIR2019期间接受雷锋网采访时表示,在与客户合作期间,我们发现获得深度学习模型并不困难和算法。在大规模生产环境中集成或部署它并不容易。对于许多用户来说,大量数据分析的集成并不是一个痛点。

他还举例说明,一家非常大的美国互联网公司已经建立了一个非常大的专用计算集群,分布式培训和分布式软件也非常好,但他们正在寻找我们合作。一开始,我们非常好奇为什么他们已经有能力与我们合作。后来,他们了解到虽然他们开发了许多先进的AI模型,但他们能够在笔记本上获得一个令人满意的原型,并提供一些样本数据。但是当涉及到一个巨大的挑战时,需要大量数据才能在生产数据或历史数据中测试该模型。复制数据不是一种长期方法,因此他们希望拥有一个端到端平台来利用生产数据。

吸引这家互联网公司与英特尔合作是英特尔统一的大数据分析和人工智能平台AnalyticsZoo和BigDL。 BigDL是一个基于大数据平台(HadoopSpark)的原生分布式深度学习库。它在ApacheSpark上提供丰富的深度学习功能,帮助HadoopSpark成为整个数据分析和机器学习的统一数据分析平台。该流程提供比现有框架更加统一和集成的支持。

据报道,自2016年10月BigDL正式开源以来,许多用户已经使用BigDL来构建深度学习应用程序。雷锋认为,HadoopSpark分布式系统基础设施足以降低AI部署的门槛。

为了进一步降低AI部署的门槛并构建完整的端到端大数据处理和深度学习应用程序,英特尔去年还开辟了一个新的Analytics Zoo项目,基于ApacheSpark,TensorFlow和其他高阶人工情报管道和平台。换句话说,AnalyticsZoo集成了不同的库和框架,可以帮助用户从笔记本电脑生产原型无缝扩展到集群或生产部署。

英特尔与美国的合作是AnalyticsZoo应用的一个很好的例子。美的使用人工智能管道进行缺陷检测。有大量图片需要处理。首先,Spark用于大规模分布式处理图像,然后您可以直接使用TensorFlow。 API,几行代码可以连接到TensorFlow定义的目标检测模型,用于分布式培训,推理和测试。获得训练有素的模型后,您需要部署它。使用AnalyticsZoo,经过训练的模型可以直接嵌入到JAVA服务中,作为用于实时推理的独立Python推理代码。整个过程利用AnalyticsZoo平台实现从云端到边缘的人工智能完整装配线,提高了开发效率,大大提高了运行效率。

AI必须是硬件+软件的融合

但是,软件的强大功能需要硬件作为支持。根据雷锋网的说法,每次在新硬件架构中实现新的性能水平时,该软件都可以带来两个数量级的改进。在人工智能时代,软件和硬件需要不同的策略。在软件层面,AI部署需要一个完整且更先进的管道,并且需要像OneAPI这样的统一软件平台来解决不同的硬件设备,以学习不同的编程框架,编程工具和编程接口。

软件需要统一,但硬件需要异构。原因很简单。超过90%的数据是在过去几年中产生的。其中约50%是在过去两年中产生的。数据大量生成,数据类型也更丰富。除了CPU擅长处理的标量数据外,还会大量生成矢量,空间数据和矩阵数据,并且需要相应的GPU,FPGA和ASIC来处理不同类型的数据。因此,人工智能时代软硬集成的重要性更加突出。由于不同的硬件需要相应的软件来充分利用硬件资源,但处理器的异构性将带来增加软件复杂性的挑战。为了更好地利用硬件性能,需要更全面的创新。

戴金泉在接受采访时表示,人工智能越来越受欢迎后,大家对人工智能提出了更高的期望,解决了更复杂的问题,并对存储技术,安全性和连接提出了一系列要求。因此,从人工智能的长期发展来看,需要一个全面的解决方案来解决未来的人工智能发展挑战。

我们看到,英特尔的超异构计算愿景采用先进的工艺技术设计,提供多种标量,矢量,矩阵和空间架构组合,并由破坏性存储器层次结构支持,并通过高级封装进行集成。在系统中,使用光速互连进行超大规模部署,提供统一的软件开发接口和安全功能。

其中,架构创新是六大技术支柱的关键,不仅因为架构创新能够实现更加重要的软件应该能够改进,还因为架构可以制作流程和封装,存储和存储,互连,安全,软件六项技术支柱是有机结合的。

英特尔认为,未来十年架构创新将成为主流,它将成为创新的主要推动力。将有许多不同的架构相互结合并相互竞争。有必要看一下AI的不同需求。建筑创新将继续带来指数级的扩张效应。

AI流行度需要一个需要广泛协作的全栈AI解决方案

可以看出,英特尔致力于提供AI全栈解决方案,在底层内核或库上使用MKL-DNN,以及图形编译器nGraph,它可以将神经网络编译到各种平台上。上层对各种机器学习和深度学习框架进行了优化,包括许多常见的机器学习和深度学习库,如Python。在顶部,它提供了一套更高级别的开源工具,包括用于神经网络推理的加速工具库,OpenVINO,统一大数据分析和人工智能平台AnalyticsZoo。

全栈解决方案不仅降低了AI开发和部署的技术难度,而且还根据用户需求提供了更灵活的解决方案,这对于AI的普及至关重要。

然而,人工智能已应用于许多行业,需求非常多样化。现在,每个行业都在迅速拥抱AI功能,每个特定行业遇到的挑战都不同。某些领域可能是技术挑战。例如,需要加强计算能力,而挑战的某些领域超出了技术范畴。例如,在医疗领域,如何保护患者的隐私也存在挑战。

因此,技术提供商可以通过提供定制解决方案以及与生态合作伙伴更好地合作来更好地促进AI的登陆。对于医疗,金融,交通,政府,零售,教育,制造,能源和其他行业,英特尔在中国和京东,腾讯,银联,美的,云达快递,中国人寿,包括Letter Software在内的许多公司都在深入合作,以支持中国和全球AI行业的发展。

最后,值得一提的是,英特尔上个月宣布,它已在中国建立了一个大数据分析和人工智能创新研究所,以加速技术创新和应用,并希望加速统一数据分析和人工智能数据的创新和应用。