内存//创新

通过在加速器中嵌入推理引擎来增强AI

马克·赫尔 - 2019-10-07

这是毫无疑问的. 人工IntelIigence (AI)和机器学习(ML)正在推动世界消费和使用数据的方式发生重大变化. 例如, 机器学习正在加速粒子物理领域的科学发现, 医学研究, 机器人等... 欧洲核子研究中心openlab, 例如, 在将新的机器学习技术应用于高能物理以帮助我们理解宇宙方面处于领先地位. 全自动驾驶汽车在不久的将来就会出现, 目前,从声控助手到智能制造,人工智能/机器学习正在得到广泛应用.

但机器学习也对传统的计算架构提出了重大挑战. 真正利用AI/ML的力量, 需要与高性能密集内存紧密耦合的新计算架构. 在这个新世界里, 通过复杂的机器学习算法对大量复杂数据的近实时处理必须提供高精度和高速度, 哪一个需要快速的内存带宽.

科学研究人员, medicine, 如果他们想要利用AI/ML的力量,行业需要一种新的方法. 内存带宽并没有随着微处理器核心的增长而扩大. 服务器和处理器元件已经达到了它们的时钟速度限制. 而与此同时,今天的数据密集型科学应用已经成为内存的束缚.

The Advent of Deep Learning Accelerators

解决这些问题的创新正在出现. 为人工智能应用的硬件加速设计的新型有趣的微处理器正在部署. Micron has developed its own line of Deep Learning Accelerators (DLA) series. 美光DLA是硬件和软件的结合,旨在提供现场可编程门阵列(fpga)的加速和节能。, 与密集的高带宽内存紧密耦合, 以及一个ML软件开发工具包(SDK),它抽象了底层硬件,因此不需要FPGA编程(传统上用硬件定义语言执行), or HDL).

美光正在与欧洲核子研究中心开放实验室的研究人员合作,测试我们的DLA, 微米- 852, 在紧凑介子螺线管(CMS)的两个项目中, 四个主要大型强子对撞机实验之一. 美光基于神经网络的存储解决方案将在实验的数据采集系统中进行测试

AI ACS
The Micron SB-852 deep learning accelerator, PCIe x16 Gen3

高性能加速器与高性能内存

当快速处理大量数据时,fpga的加速是必不可少的. 美光SB-852加速器由Xilinx®Virtex Ultrascale+ FPGA支持. 这提供了咀嚼肌肉来消耗大量的科学, 医疗保健, 或者其他数据. SB-852还拥有高达512GB的DDR4内存, 它允许研究人员在本地对大型数据集进行推理, 因此不需要对数据进行分区. 四通道配置提供高达68GB/s的内存带宽,使研究人员能够快速分析数据并返回可以启动发现的见解.

AI ACS
FWDNXT推理引擎适用于主要的深度学习平台

预加载推理引擎灵活的ML

你可能会问:美光的DLA真的内置了一个推理引擎吗? 是的,FPGA已经被编程了 来自FWDNXT的创新ML推理引擎,支持多种类型的神经网络(CNN, RNN, LSTM). 使用fwdnxtml SDK, FPGA编程就像用Python和c++编程一样简单. SDK负责其余的一切,使加速任何神经网络的工作变得容易. 在众多优点中:低功耗和高性能不仅来自FPGA, 而是来自FWDNXT创新的推理引擎, 哪种神经网络模型的计算效率接近100%.

更具体地说, ML SDK支持所有ML框架,允许数据科学家在他们选择的框架(Tensor Flow)中训练他们的神经网络, Pytorch, Caffe2, etc.),然后将该网络输出到ONNX(一种开放标准的神经网络交换格式). Then, 使用SDK, 他们将输出编译成机器代码,在预加载的推理引擎上运行. 只需修改几行代码, 研究人员以微米加速器为目标,就像他们以GPU为目标一样.

未来正在加速

美光提供DLA系列的各种加速器板和模块, 以及最多可容纳6个模块的PCIe承载板. 也有同时支持PCIe和QSFP接口的单板. 许多沙巴体育结算平台的低功耗和小尺寸特性使从数据中心到网络边缘智能设备的高效快速机器学习成为可能.

欲知详情,请浏览 sauvezlasynagoguefleg.com/AI 请关注我们的最新消息 @MicronTech.

Marc Musgrove

Mark Hur

Mark Hur是美光高级计算解决方案集团的运营总监,负责人工智能硬件加速器的沙巴体育结算平台开发, 机器学习, 和高性能计算(HPC).

+