【阿东手把手教你学FPGA】硬核实测！Xilinx MPSoC解锁嵌入式AI开发新姿势

dongguo100

  随着人工智能（AI）技术从“实验室走向产业”，从云端推理向“边缘端+云端”协同演进，市场对AI硬件的需求逐渐从“通用算力”转向“低功耗、高灵活性、高性价比”的定制化能力。Xilinx（现属于AMD公司）作为可编程逻辑器件（FPGA）与自适应计算技术的领军企业，依托其在硬件可编程领域数十年的技术积累，推出了以自适应计算平台为核心的Xilinx AI解决方案，旨在为不同行业的AI应用提供“算力适配场景”的灵活支撑，解决传统固定架构芯片（如GPU、CPU）在边缘端低功耗、高实时性场景下的适配难题。

Xilinx AI
  Xilinx AI是一套覆盖“芯片硬件+开发工具+算法优化+行业参考设计”的全栈式解决方案，其核心定位可概括为三点：边缘与云端的协同算力、可编程AI和行业场景的深度适配。
  Xilinx AI的硬件平台主要有两类核心产品，FPGA（现场可编程门阵列）和ACAP（自适应计算加速平台），其分别对应不同算力与场景需求。
Vitis AI
  Vitis AI是Xilinx推出的AI开发环境，能够在Zynq MPSoC Ultrascale系列和Alveo加速卡等硬件平台上加速AI推断。此环境由经过最优化的IP核、工具、库、模型和设计示例组成。其设计以高效和易用为核心，旨在通过Xilinx SoC和自适应计算加速平台（ACAP）来充分发掘AI加速的全部潜能。Vitis AI开发环境将底层可编程逻辑的繁复细节加以抽象化，从而帮助不具备FPGA知识的用户轻松开发深度学习推断应用。Vitis AI环境示意图如下所示：

Vitis AI集成的工具
Vitis AI环境集成了Xilinx AI开发所需的所有工具，下面简单介绍一下。
1、深度学习处理器（DPU）
  深度学习处理器(DPU)是一个专为深度神经网络而优化的可编程引擎。
2、Vitis AI Model Zoo
  Vitis AI Model Zoo包含经过最优化的深度学习模型，可在Xilinx平台上加速部署深度学习推断。
3、Vitis AI优化器
  Vitis AI Optimizer（优化器）支持对神经网络模型进行最优化。
4、Vitis AI量化器
  通过将32位浮点权重和激活转换为定点（如INT8），Vitis AI量化器可降低计算复杂性，而不会损失预测精度。
5、Vitis AI编译器
  Vitis AI编译器可将AI模型映射到高效的指令集和数据流模型。
6、Vitis AI Profiler
  基于XIR的编译器会提取经量化的Caffe、TensorFlow、TensorFlow2.x或PyTorch模型作为输入。
7、Vitis AI Library
  Vitis AI Profiler可用于对AI应用进行性能剖析和可视化，以在不同器件之间查找瓶颈并分配计算资源。
8、Vitis AI运行时（Runtime）
  Vitis AI Library是一组高层次库和API，专为利用DPU高效执行AI推断而构建。
模型分类
  Vitis AI提供的神经网络库基于Caffe、TensorFlow、PyTorch三种框架。
开发流程
  Vitis AI开发包含三个步骤：构建模型、构建硬件和构建软件，本教程主要涉及构建模型和构建硬件两部分，且构建硬件时使用的是Vivado和Petalinux工具。开发流程如下图所示：

Vivado硬件平台展示
  本实验使用FPGA接收摄像头输出的图像数据，存到DDR中，AI程序将DDR中的图像数据发送到DPU IP核中处理并对DPU IP返回的数据做进一步处理，最终处理好的数据发送到DP接口，在屏幕上进行显示，系统框图如下所示：

搭建好的硬件平台如下图所示：

实验演示
产品介绍
  本次案例的FPGA开发平台采用正点原子MPSoC-P5B开发板，主控芯片型号是xczu3eg/xczu4ev/xczu5ev-sfvc784-2-i。这款芯片集成四核ARM Cortex-A53处理器，双核ARM Cortex-R5F和GPU。板载外设资源丰富，包括1GB PL DDR4+4GB PS DDR4、PCIe3.0x2、SFP光口x2、M.2PCIe接口、一个FMC LPC座、MIPI CSI&DSI接口、1路HDMI 1080P60输出接口和1路1080P60输入接口等。非常适合AI机器学习、智能车载、医疗机械、测试仪表和通用雷达等领域。
  开发板提供了丰富的开发文档和软件资源，涉及FPGA开发、Vitis裸机开发、Linux系统开发、Qt开发、Vitis HLS和VCU（视频编解码单元）开发等教学领域。企业客户可以直接采购核心板进行自己的产品研发，正点原子提供了全面、完善的例程和文档，助力企业客户产品研发。为提高企业用户的开发效率、缩短开发周期，正点原子特地为核心板用户整理了一系列开发阶段会用到的资料，涉及原理图、底板设计资料、机械结构、元器件封装、连接器规格、出厂系统镜像源码和软件开发包等，方便企业用户开发。
  MPSoC-P5B开发板购买链接：（复制链接至浏览器打开）
  https://detail.tmall.com/item.htm?abbucket=11&id=753441508614

  MPSoC-P5B开发板资料链接：（复制链接至浏览器打开）
  http://www.openedv.com/docs/boards/fpga/zdyz-MPSOC-P5.html

硬件连接
  开发板发货时给大家配置了一根USB串口线，使用USB串口线连接开发板上的USB串口(PS_UART)与电脑上的USB接口。并且通过miniDP接口连接DP或HDMI显示器，如下图所示：

上板验证
  在Xilinx Zynq UltraScale+ MPSoC平台上基于DPU IP核部署模型时，通常按照训练模型、优化模型、量化模型和编译模型的顺序来操作。本实验使用的是Xilinx提供的训练和量化好的模型，所以本章实验只需对模型进行编译即可。编译完成后，将模型和样本部署到根文件系统中并进行测试。具体的模型编译流程和部署流程这里就不再介绍了，详细过程可参考资料盘中《MPSoC-P5B之嵌入式AI开发指南》文档。
实验结果
一、静态照片演示
1、贝叶斯人群计数

2、车辆识别

3、道路标线检测

4、医学检测

二、实时图像演示（用USB摄像头）
1、图像分类

2、车辆分类

3、人脸和面部界标检测

4、人脸口罩检测

三、视频演示
1、segs_and_roadline_detect（分割和道路标线检测）

2、seg_and_pose_detect（分割和姿态检测）

3、multitask_v3_quad_windows（四窗口多任务处理）


正点原子FPGA公众号：