【正点原子FPGA连载】第五十六章双目OV5640摄像头HDMI显示实验--摘自【正点原子】超越者之FPGA开发指南

正点原子运营 · 发表于 2021-1-27 11:56:51

本帖最后由正点原子运营于 2021-1-27 17:20 编辑

1）实验平台：正点原子超越者FPGA开发板
2）平台购买地址：https://item.taobao.com/item.htm?&id=631660290421
3）全套实验源码+手册+视频下载地址：http://www.openedv.com/docs/boards/fpga/zdyz-chaoyuezhe.html

4）本章实例源码下载：

49_dual_ov5640_hdmi.rar (8.28 MB, 下载次数: 22)

2021-1-27 17:20 上传

点击文件名下载附件

5）正点原子FPGA交流群：905624739点击加入：

6）关注正点原子公众号，获取最新资料更新

第五十六章双目OV5640摄像头HDMI显示实验

在双目OV5640摄像头RGB-LCD显示实验中，成功地在LCD屏上实时显示出了摄像头采集的图像。本章将使用FPGA开发板实现对双目OV5640的数字图像采集并在HDMI显示器上实时显示。
本章包括以下几个部分：
5656.1简介
56.2实验任务
56.3硬件设计
56.4程序设计
56.5下载验证

56.1简介
在“OV5640摄像头RGB-LCD显示实验”中对OV5640的视频传输时序、SCCB协议以及寄存器的配置信息等内容作了详细的介绍，如果大家对这部分内容不是很熟悉的话，请参考“OV5640摄像头RGB-LCD显示实验”中的OV5640简介部分。本次实验将在前面“双目OV5640摄像头RGB-LCD显示实验”的基础上学习双目摄像头的HDMI显示。
56.2实验任务
本章的实验任务是利用双目OV5640摄像头采集图像，将采集到的图像实时显示在HDMI显示器上，两幅图像分别占据HDMI显示器的左右半边。
56.3硬件设计
摄像头扩展接口原理图及双目OV5640模块说明与“双目OV5640摄像头RGB-LCD显示实验”完全相同，请参考“双目OV5640摄像头RGB-LCD显示实验”硬件设计部分。HDMI接口部分的硬件设计请参考“HDMI彩条显示实验”中的硬件设计部分。
由于双目OV5640、HDMI接口和DDR3引脚数目较多且在前面相应的章节中已经给出它们的管脚列表，这里不再列出管脚分配。
56.4程序设计
根据实验任务，可以设计出如图 56.4.1所示的系统框图，本章实验的系统框架延续了“双目OV5640摄像头RGB-LCD显示实验”的整体架构。本次实验包括以下模块：时钟模块、DDR控制器模块、摄像头驱动模块和HDMI顶层模块。其中时钟模块、DDR控制模块和摄像头驱动模块我们没有做任何修改，时钟模块和摄像头驱动模块在“OV5640摄像头RGB-LCD显示实验”中已经说明过，DDR控制模块在“双目OV5640摄像头RGB-LCD显示实验”中已经说明过，这里不再详述，本次实验只是将LCD顶层模块替换成了HDMI顶层模块。因为本次实验用的是HDMI显示器来显示，所以需要将LCD顶层模块替换成HDMI顶层模块。
系统框图如下图所示：

图 56.4.1 顶层系统框图

由上图可知，时钟模块（pll）为HDMI顶层模块、DDR控制模块以及OV5640驱动模块提供驱动时钟，OV5640驱动模块控制着传感器初始化的开始与结束。传感器初始化完成后图像采集模块将采集到的数据写入DDR控制模块，HDMI顶层模块从DDR控制模块中读出数据，完成了数据的采集、缓存与显示。需要注意的是图像数据采集模块是在DDR3和传感器都初始化完成之后才开始输出数据的，避免了在DDR3初始化过程中向里面写入数据。
下面是顶层模块的代码：

<font size="4">1 module top_dual_ov5640_hdmi(
2 input sys_clk， //系统时钟
3 input sys_rst_n， //系统复位，低电平有效
4 //摄像头1接口
5 input cam_pclk_1， //cmos 数据像素时钟
6 input cam_vsync_1， //cmos 场同步信号
7 input cam_href_1， //cmos 行同步信号
8 input [7:0] cam_data_1， //cmos 数据
9 output cam_rst_n_1， //cmos 复位信号，低电平有效
10 output cam_pwdn_1， //电源休眠模式选择 0：正常模式 1：电源休眠模式
11 output cam_scl_1， //cmos SCCB_SCL线
12 inout cam_sda_1， //cmos SCCB_SDA线
13 //摄像头2接口
14 input cam_pclk_2， //cmos 数据像素时钟
15 input cam_vsync_2， //cmos 场同步信号
16 input cam_href_2， //cmos 行同步信号
17 input [7:0] cam_data_2， //cmos 数据
18 output cam_rst_n_2， //cmos 复位信号，低电平有效
19 output cam_pwdn_2， //电源休眠模式选择 0：正常模式 1：电源休眠模式
20 output cam_scl_2， //cmos SCCB_SCL线
21 inout cam_sda_2， //cmos SCCB_SDA线
22 //ddr3 port
23 inout [15:0] mcb3_dram_dq，
24 output [13:0] mcb3_dram_a，
25 output [2:0] mcb3_dram_ba，
26 output mcb3_dram_ras_n，
27 output mcb3_dram_cas_n，
28 output mcb3_dram_we_n，
29 output mcb3_dram_reset_n，
30 output mcb3_dram_cke，
31 output mcb3_dram_dm，
32 inout mcb3_dram_udqs，
33 inout mcb3_dram_udqs_n，
34 inout mcb3_rzq，
35 inout mcb3_zio，
36 output mcb3_dram_udm，
37 inout mcb3_dram_dqs，
38 inout mcb3_dram_dqs_n，
39 output mcb3_dram_ck，
40 output mcb3_dram_ck_n，
41
42 output init_calib_complete，
43 //hdmi接口
44 output tmds_clk_p， // TMDS 时钟通道
45 output tmds_clk_n，
46 output [2:0] tmds_data_p， // TMDS 数据通道
47 output [2:0] tmds_data_n
48 );
49
50 //parameter define
51 parameter V_CMOS_DISP = 11'd768; //CMOS分辨率--行
52 parameter H_CMOS_DISP = 11'd1024; //CMOS分辨率--列
53 parameter TOTAL_H_PIXEL = H_CMOS_DISP + 12'd1216;
54 parameter TOTAL_V_PIXEL = V_CMOS_DISP + 12'd504;
55
56 //wire define
57 wire clk_50m ; //50mhz时钟
58 wire locked ; //时钟锁定信号
59 wire rst_n ; //全局复位
60 wire rdata_req ; //DDR3控制器模块读使能
61 wire [15:0] rd_data ; //DDR3控制器模块读数据
62 wire init_calib_complete ; //DDR3初始化完成init_calib_complete
63 wire sys_init_done ; //系统初始化完成(DDR初始化+摄像头初始化)
64 wire [10:0] h_disp ; //水平分辨率
65 wire [10:0] v_disp ; //垂直分辨率
66 wire [10:0] h_pixel ; //存入ddr3的水平分辨率
67 wire [10:0] v_pixel ; //存入ddr3的屏垂直分辨率
68 wire [26:0] ddr3_addr_max ; //存入DDR3的最大读写地址
69 wire [12:0] total_h_pixel ; //水平总像素大小
70 wire [12:0] total_v_pixel ; //垂直总像素大小
71 wire cmos_frame_valid_1 ; //数据1有效使能信号
72 wire [15:0] wr_data_1 ; //DDR3控制器模块写数据1
73 wire cmos_frame_valid_2 ; //数据2有效使能信号
74 wire [15:0] wr_data_2 ; //DDR3控制器模块写数据2
75
76 //*****************************************************
77 //** main code
78 //*****************************************************
79 //待时钟锁定后产生复位结束信号
80 assign rst_n = sys_rst_n & locked_100m & locked_300m;
81
82 //系统初始化完成：DDR3初始化完成
83 assign sys_init_done = init_calib_complete;
84
85 //DDR3的最大读写地址
86 assign ddr3_addr_max = h_disp * v_disp;
87
88 //ov5640 驱动
89 ov5640_dri u_ov5640_dri_1(
90 .clk (clk_50m)，
91 .rst_n (rst_n)，
92
93 .cam_pclk (cam_pclk_1)，
94 .cam_vsync (cam_vsync_1)，
95 .cam_href (cam_href_1 )，
96 .cam_data (cam_data_1 )，
97 .cam_rst_n (cam_rst_n_1)，
98 .cam_pwdn (cam_pwdn_1)，
99 .cam_scl (cam_scl_1 )，
100 .cam_sda (cam_sda_1 )，
101
102 .capture_start (init_calib_complete)，
103 .cmos_h_pixel (h_disp[10:1])，
104 .cmos_v_pixel (v_disp)，
105 .total_h_pixel (TOTAL_H_PIXEL)，
106 .total_v_pixel (TOTAL_V_PIXEL)，
107 .cmos_frame_vsync (cmos_frame_vsync_1)，
108 .cmos_frame_href ()，
109 .cmos_frame_valid (cmos_frame_valid_1)，
110 .cmos_frame_data (wr_data_1)
111 );
112
113 //ov5640 驱动
114 ov5640_dri u_ov5640_dri_2(
115 .clk (clk_50m)，
116 .rst_n (rst_n)，
117
118 .cam_pclk (cam_pclk_2 )，
119 .cam_vsync (cam_vsync_2)，
120 .cam_href (cam_href_2 )，
121 .cam_data (cam_data_2)，
122 .cam_rst_n (cam_rst_n_2)，
123 .cam_pwdn (cam_pwdn_2 )，
124 .cam_scl (cam_scl_2 )，
125 .cam_sda (cam_sda_2 )，
126
127 .capture_start (init_calib_complete)，
128 .cmos_h_pixel (h_disp[10:1])，
129 .cmos_v_pixel (v_disp)，
130 .total_h_pixel (TOTAL_H_PIXEL)，
131 .total_v_pixel (TOTAL_V_PIXEL)，
132 .cmos_frame_vsync (cmos_frame_vsync_2)，
133 .cmos_frame_href ()，
134 .cmos_frame_valid (cmos_frame_valid_2)，
135 .cmos_frame_data (wr_data_2)
136 );
137
138 ddr3_control
139 #(
140 .C3_NUM_DQ_PINS (16)，
141 .C3_MEM_ADDR_WIDTH (14)，
142 .C3_MEM_BANKADDR_WIDTH (3)
143 )
144 u_ddr3_control(
145 .clk_ddr (clk_ddr)，
146 .clk_100m (clk_100m)，
147 .rst_n (rst_n)，
148 .mcb3_dram_dq (mcb3_dram_dq )，
149 .mcb3_dram_a (mcb3_dram_a )，
150 .mcb3_dram_ba (mcb3_dram_ba )，
151 .mcb3_dram_ras_n (mcb3_dram_ras_n )，
152 .mcb3_dram_cas_n (mcb3_dram_cas_n )，
153 .mcb3_dram_we_n (mcb3_dram_we_n )，
154 .mcb3_dram_reset_n (mcb3_dram_reset_n)，
155 .mcb3_dram_cke (mcb3_dram_cke )，
156 .mcb3_dram_dm (mcb3_dram_dm )，
157 .mcb3_dram_udqs (mcb3_dram_udqs )，
158 .mcb3_dram_udqs_n (mcb3_dram_udqs_n )，
159 .mcb3_rzq (mcb3_rzq )，
160 .mcb3_zio (mcb3_zio )，
161 .mcb3_dram_udm (mcb3_dram_udm )，
162 .mcb3_dram_dqs (mcb3_dram_dqs )，
163 .mcb3_dram_dqs_n (mcb3_dram_dqs_n )，
164 .mcb3_dram_ck (mcb3_dram_ck )，
165 .mcb3_dram_ck_n (mcb3_dram_ck_n )，
166 .c3_calib_done (init_calib_complete)，
167
168 .ddr3_read_valid (1'b1 )，
169 .ddr3_pingpang_en (1'b1)，
170
171 //摄像头1
172 .clk_write_1 (cam_pclk_1)， //写时钟
173 .wr_en_1 (cmos_frame_valid_1)， //写使能
174 .wr_data_1 (wr_data_1)， //写数据
175 .wr_load_1 (cmos_frame_vsync_1)， //写端更新信号
176 .wr_length_1 (h_disp[10:3])， //一次写长度
177 .wr_max_addr_1 (ddr3_addr_max[26:1])， //写最大地址
178 .wr_min_addr_1 (0)， //写最小地址
179
180 //摄像头2
181 .clk_write_2 (cam_pclk_2)， //写时钟
182 .wr_en_2 (cmos_frame_valid_2)， //写使能
183 .wr_data_2 (wr_data_2)， //写数据
184 .wr_load_2 (cmos_frame_vsync_2)， //写端更新信号
185 .wr_length_2 (h_disp[10:3])， //一次写长度
186 .wr_max_addr_2 (ddr3_addr_max[26:1])， //写最大地址
187 .wr_min_addr_2 (0)， //写最小地址
188
189 .clk_read (pixel_clk)， //读时钟
190 .rd_en (rdata_req)， //读使能
191 .rd_load (video_vs)， //读端更新信号
192 .rd_max_addr (ddr3_addr_max[26:1])， //读最大地址
193 .rd_min_addr (0)， //读最小地址
194 .rd_length (h_disp[10:3])， //一次读长度
195 .h_disp (h_disp)， //行分辨率
196 .rd_data (rd_data) //读数据
197
198 );
199
200 //时钟模块
201 clock u_clock(
202 .sys_clk (sys_clk)， //系统输入时钟
203
204 .clk_ddr (clk_ddr)， //ddr运行时钟
205 .clk_50m (clk_50m)， //50m时钟
206 .clk_100m (clk_100m)， //100m时钟
207 .locked_100m (locked_100m)， //时钟稳定信号
208 .locked_300m (locked_300m) //时钟稳定信号
209
210 );
211
212 //HDMI驱动显示模块
213 hdmi_top u_hdmi_top(
214 .clk_50m (clk_50m)，
215 .pixel_clk (pixel_clk)，
216 .sys_rst_n (sys_init_done & rst_n)，
217 //hdmi接口
218 .tmds_clk_p (tmds_clk_p )， // TMDS 时钟通道
219 .tmds_clk_n (tmds_clk_n )，
220 .tmds_data_p (tmds_data_p )， // TMDS 数据通道
221 .tmds_data_n (tmds_data_n )，
222 //用户接口
223 .h_disp (h_disp)， //HDMI屏水平分辨率
224 .v_disp (v_disp)， //HDMI屏垂直分辨率
225 .video_vs (video_vs)，
226 .pixel_xpos ()，
227 .pixel_ypos ()，
228 .data_in (rd_data)， //数据输入
229 .data_req (rdata_req) //请求数据输入
230 );
231
232 endmodule</font>

复制代码

时钟模块（clock）：时钟模块通过调用PLL IP核实现，共输出3个时钟，频率分别为300Mhz、50Mhz时钟和100Mhz时钟。300Mhz时钟作为DDR控制模块的运行时钟；100Mhz时钟作为DDR控制模块的驱动时钟；50Mhz时钟作为OV5640驱动模块和HDMI顶层模块的驱动时钟。
OV5640驱动模块（ov5640_dri）：OV5640驱动模块负责驱动OV5640 SCCB接口总线，将像素时钟驱动下的传感器输出的场同步信号、行同步信号以及8位数据转换成DDR读写控制模块的写使能信号和16位写数据信号，完成对OV5640传感器图像的采集。
DDR控制模块（ddr3_control）：DDR读写控制器模块负责驱动DDR片外存储器，缓存图像传感器输出的图像数据。该模块将MIG IP核复杂的读写操作封装成类似FIFO的用户接口，非常方便用户的使用。
HDMI顶层模块（hdmi_top）：HDMI顶层模块负责驱动HDMI显示器的驱动信号的输出，同时为其他模块提供显示器参数、场同步信号和数据请求信号。HDMI顶层模块例化了HDMI驱动模块（video_driver）、HDMI显示模块（lcd_disply）和RGB转DVI模块（rgbtodvi_top）。HDMI驱动模块负责产生行场信号和数据有效使能信号和像素点的横纵坐标，同时将内部信号data_req（数据请求信号）输出至端口，方便从DDR控制器中读取数据，完成读出图像数据的功能。HDMI显示模块（lcd_disply）产生HDMI显示器要显示的像素内容，包括图像内容和叠加上去的字符。RGB转DVI模块负责将RGB888格式的视频图像转换成TMDS数据输出。有关HDMI驱动模块、RGB转DVI模块的详细介绍请大家参考“HDMI彩条显示实验”章节。有关HDMI显示模块的详细介绍请大家参考“双目OV5640摄像头RGB-LCD显示实验”章节。
56.5下载验证
编译完工程之后我们就可以开始下载程序了。将双目OV5640摄像头模块插在超越者开发板的J2排插上，并将HDMI电缆一端连接到开发板上的HDMI插座、另一端连接到显示器。将下载器一端连电脑，另一端与开发板上的JTAG端口连接，连接电源线并打开电源开关。接下来我们下载程序，验证双目OV5640 HDMI实时显示功能。下载完成后HDMI显示器上会显示双目摄像头采集到的图像，如下图所示，说明双目OV5640 HDMI实时显示程序下载验证成功。

图 56.5.1双目OV5640 HDMI实时显示图像

帐号		自动登录	找回密码
密码			立即注册

[XILINX] 【正点原子FPGA连载】第五十六章双目OV5640摄像头HDMI显示实验--摘自【正点原子】超越者之FPGA开发指南

相关帖子

原子哥极力推荐 /2