基于OpenCL的FPGA线上深度学习语音识别加速方案

方案概述

为了进一步提升DNN算法的效率和性能，科大讯飞计划在语音识别业务中启用FPGA平台，而若性能符合要求，则将在未来建造一个上万规模的FPGA语音识别系统。
深度学习模型的软件算法需要不断地微调和优化，随着时间的推移，固定功能的服务器加速器效率会变得越来越低，浪费空间和电力。相比之下，FPGA可以更加灵活的定制化，并且功耗更低。 这也是科大讯飞决定将DNN算法移植到FPGA平台的重要原因。

方案优势

该方案硬件平台采用CPU+AlteraArria 10 FPGA异构架构，软件完全采用高级编程模式OpenCL实现从CPU到FPGA的迁移，具备四大特点：
高性能:处理100 bound数据，基于IntelXeon E5-2650 V2 双路CPU（启动16个线程），DNN运行时间为242.027s,而基于Altera ARRIA 10 FPGA，DNN运行时间为84.312s，性能加速2.871倍；
低功耗:Altera Arria 10FPGA功耗为30W，Intel Xeon E5-2650 V2 双路CPU功耗为190W，FPGA功耗只有CPU的15.7%，在DNN 实际运行测试中，FPGA可实现30GFlops/W的高性能功耗比，能大大节省应用功耗成本；
易编程:采用OpenCL编程模型，基于FPGA的DNN并行程序开发完全由软件工程师完成，仅仅耗费4个人月。若采用传统的Verilog、VHDL等底层语言，同样的开发工作至少需要12个人月，并且需要软件工程师和硬件工程师配合完成。
高适用性:FPGA即可以采用DNRange模式实现数据并行，也可以采用Pipeline模式实现任务并行，从而满足了更多的应用场景，可以为更多的应用软件带来性能提升。