《DFZU2EG_4EV MPSoc之FPGA开发指南》第三十五章 双目OV5640摄像头HDMI显示实验

正点原子运营

第三十五章 双目OV5640摄像头HDMI显示实验

1）实验平台：正点原子 DFZU2EG/4EV MPSoC开发板

2) 章节摘自【正点原子】DFZU2EG/4EV MPSoC之FPGA开发指南 V1.0

3）购买链接:https://detail.tmall.com/item.htm?id=692450874670

4）全套实验源码+手册+视频下载地址：http://www.openedv.com/docs/boards/fpga/zdyz-MPSOC.html

5）正点原子官方B站：https://space.bilibili.com/394620890

6）FPGA技术交流QQ群:994244016

在双目OV5640摄像头RGB-LCD显示实验中，成功地在LCD屏上实时显示出了摄像头采集的图像。本章将使用FPGA开发板实现对双目OV5640的数字图像采集并在HDMI显示器上实时显示。本章包括以下几个部分：

35.1简介

35.2实验任务

35.3硬件设计

35.4程序设计

35.5下载验证

35.1 简介

在“OV5640摄像头RGB-LCD显示实验”中对OV5640的视频传输时序、SCCB协议以及寄存器的配置信息等内容作了详细的介绍，如果大家对这部分内容不是很熟悉的话，请参考“OV5640摄像头RGB-LCD显示实验”中的OV5640简介部分。本次实验将在前面“双目OV5640摄像头RGB-LCD显示实验”的基础上学习双目摄像头的HDMI显示。

35.2 实验任务

本章的实验任务是利用双目OV5640摄像头采集图像，将采集到的图像实时显示在HDMI显示器上，两幅图像分别占据HDMI显示器的左右半边。

35.3 硬件设计

摄像头扩展接口原理图及双目OV5640模块说明与“双目OV5640摄像头RGB-LCD显示实验”完全相同，请参考“双目OV5640摄像头RGB-LCD显示实验”硬件设计部分。HDMI接口部分的硬件设计请参考“HDMI彩条显示实验”中的硬件设计部分。

由于双目OV5640、HDMI接口和DDR4引脚数目较多且在前面相应的章节中已经给出它们的管脚列表，这里不再列出管脚分配。

35.4 程序设计

根据实验任务，首先设计如图 35.4.1所示的系统框图，本章实验的系统框架延续了“双目OV5640摄像头RGB-LCD显示实验”的整体架构。本次实验包括以下模块： DDR4控制器模块（ddr4_top）、摄像头驱动顶层模块（ov5640_dri）和HDMI顶层模块（HDMI顶层模块包含时钟模块（clk_wiz_0）、视频显示模块（video_driver）、HDMI驱动模块（dvi_transmitter_top）以及字符串显示模块（lcd_disply））。其中DDR4控制器顶层模块、字符串显示模块、和摄像头驱动模块完全延用了“双目OV5640摄像头RGB-LCD显示实验”中的模块，没有做任何修改，而MMCM时钟IP核模块、HDMI驱动模块和视频显示模块也是完全延用了“HDMI彩条显示实验”中的模块，这几个模块除了视频显示模块中的数据请求信号（data_req）提前了两个时钟之外（原本相对于video_de是只需要提前一个时钟周期用来提前准备好数据，但是本节实验数据是先进入字符串显示模块，再将携带字符串信息的像素数据传输到视频显示模块，这中间耗费了一个时钟周期，因此本节实验data_req信号需要提前两个时钟周期），其他也是没有做任何修改的，所以本节实验完全可以看成是将“双目OV5640摄像头RGB-LCD显示实验”中的LCD显示模块，替换成了“HDMI彩条显示实验”中的HDMI显示模块。因此本节实验就不再对程序代码做讲解了，大家有不懂的地方可以去看前面的“双目OV5640摄像头RGB-LCD显示实验”和“HDMI彩条显示实验”这两个例程。下面我们来分析一下本节实验软件工程的整体架构。                    

图 35.4.1 顶层系统框图

我们先来分析一下上图中的时钟网络，首先板载时钟芯片提供一对差分时钟（系统时钟），直接进入MIG IP核，一方面作为MIG IP核的驱动时钟，另一方面由MIG IP核内部派生出一路50MHz的时钟，进入ov5640顶层模块和MMCM时钟IP核模块。而MMCM时钟IP核模块又分频出三路时钟（像素时钟、2.5倍像素时钟、5倍像素时钟，频率大小由HDMI显示分辨率决定）进入HDMI驱动模块，其中像素时钟还进入了视频显示模块作为视频显示模块的驱动时钟。

分析完了时钟网络之后我们再来看看数据流，先是ov5640顶层模块配置ov5640摄像头，配置成功后采集ov5640摄像头传入的数据，并将数据传输到DDR4顶层模块；DDR4顶层模块通过MIG IP核驱动外部DDR4芯片，将摄像头数据写入DDR4芯片，当接收到视频显示模块的读数据请求后，就会把外部DDR4芯片中缓存的数据再读回来传递给字符串显示模块，字符串显示模块会将字符串信息加载到像素数据中去，然后再将数据传递给视频显示模块；视频显示模块会将数据和行场同步信息一起发给HDMI驱动模块，HDMI驱动模块会将像素数据、行场同步信息以及像素时钟分别进行TMDS编码（不了解TMDS编码的同学可以看前面的HDMI彩条显示实验），最后驱动HDMI显示器，将摄像头采集到的图像显示在HDMI显示屏上。下面是顶层模块的原理图：

图 35.4.2 顶层模块原理图

FPGA顶层模块（ov5640_hdmi）例化了以下三个模块： OV5640驱动模块（ov5640_dri）、DDR控制模块（DDR4_top）以及HDMI顶层模块（HDMI顶层模块包含时钟模块（clk_wiz_0）、视频显示模块（video_driver）、HDMI驱动模块（dvi_transmitter_top）以及字符串显示模块（lcd_disply））。

时钟模块（clk_wiz_0）：时钟模块通过调用MMCM IP核实现，共输出3个时钟，频率分别为75Mhz时钟（HDMI像素时钟）、187.5Mhz（HDMI像素时钟的2.5倍频）时钟和375Mhz时钟（HDMI像素时钟的5倍频）。其中75Mhz时钟就是根据HDMI显示规范来设定的标准像素驱动时钟，因为本节实验采用的是720P的分辨率所以像素时钟选择75Mhz（实际规范是74.5Mhz，这里比实际规范要求的时钟频率稍微大一点，不影响功能）。而187.5Mhz时钟和375Mhz时钟分别是像素时钟的2.5倍和5倍，他们的作用一个用于10bit进4bit出的ram，另一个是用于10bit并行数据转1bit串行数据，详细讲解请参考前面的HDMI彩条显示实验例程。

OV5640驱动模块（ov5640_dri）：OV5640驱动模块负责驱动OV5640 SCCB接口总线，将像素时钟驱动下的传感器输出的场同步信号、行同步信号以及8位数据转换成DDR读写控制模块的写使能信号和16位写数据信号，完成对OV5640传感器图像的采集。

DDR控制模块（DDR4_top）：DDR读写控制器模块负责驱动DDR片外存储器，缓存图像传感器输出的图像数据。该模块将MIG IP核复杂的读写操作封装成类似FIFO的用户接口，非常方便用户的使用。

有关DDR控制模块的详细介绍请大家参考“OV5640摄像头RGB-LCD显示实验”章节。

字符串显示模块（lcd_disply）：字符串显示模块定义了“0V5640 1”和“0V5640 2”两个字符串的字模信息，会在HDMI显示屏上显示这两个字符串，具体的显示原理请大家参考“双目OV5640_LCD显示实验”例程。

视频显示驱动模块（video_driver）：视频显示驱动模块主要作用就是生成HDMI的行场同步时序和数据读取请求，并将摄像头的rgb565数据转换成rgb888数据。

HDMI驱动模块（dvi_transmitter_top）：HDMI驱动模块的作用就是将行场同步信息、像素数据以及像素时钟进行TMDS编码，再将并行数据转换成串行数据输出给外界的HDMI显示屏，从而实现将摄像头采集的图像数据在HDMI显示屏上显示的功能。

有关HDMI视频显示驱动模块和HDMI驱动转换模块的详细介绍请大家参考“HDMI彩条显示实验”章节。

35.5 下载验证

编译完工程之后我们就可以开始下载程序了。将双目OV5640摄像头模块插在DFZU2EG/4EV MPSoC开发板的J19扩展口上，并将HDMI电缆一端连接到开发板上的HDMI插座，另一端连接到显示器。将下载器一端连电脑，另一端与开发板上的JTAG端口连接，然后连接电源线后拨动开关按键给开发板上电。硬件连接如下图所示：

图 35.5.1DFZU2EG/4EV MPSoC开发板连接HDMI显示器

接下来我们下载程序，验证双目OV5640 HDMI实时显示功能。下载完成后观察HDMI显示器显示的图案如下图所示，说明双目OV5640 HDMI实时显示程序下载验证成功。

图 35.5.2 HDMI实时显示图像