首页|嵌入式系统|显示技术|模拟IC/电源|元件与制造|其他IC/制程|消费类电子|无线/通信|汽车电子|工业控制|医疗电子|测试测量
首页 > 分享下载 > 常用文档 > 啄木鸟-DL:通过硬件感知的多面优化来加速深度神经网络发展

啄木鸟-DL:通过硬件感知的多面优化来加速深度神经网络发展

资料介绍
加速深度模型的训练和推理在实践中至关重要。现有的深度学习框架通常专注于优化训练速度,而较少关注针对推理的优化。实际上,模型推理在计算上与训练不同,例如训练过程中每个梯度更新步骤都会刷新参数,但推理过程中保持不变。模型推理的这些特殊性为其优化提供了新的机会。在本文中,我们提出了一个硬件感知优化框架,即啄木鸟-DL(WPK),从图优化、自动搜索、特定领域语言(DSL)编译器技术和系统级探索的角度,利用多种联合优化来加速推理。在WPK中,我们分别研究了两种新的基于遗传算法和强化学习的自动搜索方法,以猎取针对特定硬件的最佳操作码配置。一个定制的DSL编译器被进一步附加到这些搜索算法中,以生成高效的代码。为了创建优化的推理方案,除了我们自动生成的代码外,WPK还系统性地探索第三方库中的高速运算符实现,并挑出每个运算符的最佳实现来使用。大量的实验表明,在Tesla P100 GPU上,我们在单个卷积算子上可以实现比cuDNN最高提速5.40,比TVM最高提速1.63,在端到端模型推理上,运行速度是TensorRT的1.18倍。
标签:OpenVINONeuralNetwork
啄木鸟-DL:通过硬件感知的多面优化来加速深度神经网络发展
本地下载

评论