21、海思AI芯片(Hi3516DV300/CV500)开发

东方耀

21、海思AI芯片(Hi3516DV300/CV500)开发

SVP(Smart Vision Platform)是海思媒体处理芯片智能视觉异构加速平台。该平台包含了CPU、 DSP、 NNIE(Neural Network Inference Engine)等多个硬件处理单元和运行在这些硬件上 SDK 开发环境，以及配套的工具链开发环境

硬件NNIE（Neural Network Inference Egine）是海思媒体 SoC 中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元，可以定点并行运算来进行深度学习算法模型推理，支持现有大部分的公开网络，如 Alexnet、 VGG16、 Googlenet、 Resnet18、Resnet50 等分类网络， Faster RCNN、 YOLO、 SSD、 RFCN 等检测网络，以及 SegNet、 FCN 等场景分割网络。目前 NNIE 配套软件及工具链仅支持以 Caffe 框架，使用其他框架的网络模型需要转化为 Caffe 框架下的模型


一般在开发前期，用户可使用仿真器对训练出来的模型进行精度、性能、带宽进行初步评估，符合用户预期后再使用仿真库进行完整功能的仿真，最后将程序移植到板端。



RuyiStudio 集成 windows 版的 NNIE mapper、 Runtime mapper 和仿真库，具有生成NNIE wk 功能、 Runtime wk 功能和仿真 NNIE 功能，同时具有代码编辑、编译、调试、执行功能、网络拓扑显示、目标检测画框、向量相似度对比、调试定位信息获取
等功能。

mapper是文件格式转换的插件，将caffe的模型文件.caffemodel转换成HISDK可以识别的.wk数据文件。NNIE 的 mapper 目前仅支持 Caffe 框架，且以 Caffe-1.0 为基础。其他框架训练出来的模型文件，比如tensorflow，需要先将其转换成.caffemodel，然后才能通过mapper生成.wk数据文件。