【正点原子FPGA连载】第五十一章OV5640摄像头HDMI灰度显示实验--摘自【正点原子】超越者之FPGA开发指南

正点原子运营 · 发表于 2021-1-26 11:15:50

1）实验平台：正点原子超越者FPGA开发板
2）平台购买地址：https://item.taobao.com/item.htm?&id=631660290421
3）全套实验源码+手册+视频下载地址：http://www.openedv.com/docs/boards/fpga/zdyz-chaoyuezhe.html
4）本章实例源码下载：

44_ov5640_hdmi_yuv.rar (5.85 MB, 下载次数: 12)

2021-1-26 11:15 上传

点击文件名下载附件

5）正点原子FPGA交流群：905624739点击加入：

6）关注正点原子公众号，获取最新资料更新

第五十一章OV5640摄像头HDMI灰度显示实验

前面的实验介绍了OV5640摄像头的HDMI显示实验，而在数字图像处理领域YUV是一种常用的图像格式，其特点是将亮度和色度进行分离，更适合运用于图像处理领域。在本次实验中，将摄像头采集的RGB565格式数据到转换为YUV格式的数据，转换后的灰度数据送到HDMI显示器显示。
本章包括以下几个部分：
5151.1  简介
51.2  实验任务
51.3  硬件设计
51.4  程序设计
51.5  下载验证

51.1简介
人眼中的锥状细胞是负责彩色视觉的传感器，可分为三个主要的感知类别，分别对应红色、绿色、蓝色，而人眼看到的彩色实际上是红、绿、蓝三原色的各种组合。之前所有的图像显示实验用到的RGB就是以红、绿、蓝为三原色的颜色空间模型，通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
YUV（YCbCr）是欧洲电视系统所采用的一种颜色编码方法。‘Y’表示明亮度（Luminance或Luma），也就是灰阶值；‘U’和‘V’表示色度，用于描述影像的饱和度和色调。RGB与YUV的转换实际上是色彩空间的转换，即将RGB的三原色色彩空间转换为YUV所表示的亮度与色度的色彩空间模型。YUV 主要应用在模拟系统中，而 YCbCr 是通过 YUV 信号的发展，并通过校正的主要应用在数字视频中的一种编码方法。YUV适用于PAL和SECAM彩色电视制式，而YCrCb适用于计算机用的显示器。一般意义上 YCbCr 即为 YUV 信号，没有严格的划分。 CbCr 分别为蓝色色度分量、红色色度分量。
RGB着重于人眼对色彩的感应，YUV则着重于视觉对于亮度的敏感程度。使用YUV描述图像的好处在于以下两个方面：
（1）亮度（Y）与色度（U、V）是独立的；
（2）人眼能够识别数千种不同的色彩，但只能识别20多种灰阶值，采用YUV标准可以降低数字彩色图像所需的储存容量。因而YUV在数字图像处理中是一种很常用的颜色标准。
YUV格式运用最多是以下两种格式：
（1）YUV4:4:4
在YUV4:4:4格式中，YUV三个信道的采样率相同。因此在生成的图像里，每个像素都有各自独立的三个分量，每个分量通常为8bit，故每个像素占用3个字节。下图为YUV444单个像素的模型图，可以看出，每个Y都对应一组U、V数据，共同组成一个像素。

图 51.1.1 单个V444的素

（2）YUV4:2:2
在YUV4:2:2格式中，U和V的采样率是Y的一半（两个相邻的像素共用一对U、V数据）。如下图所示，图中包含两个相邻的像素。第一个像素的三个YUV分量分别是Y1、U1、V1，第二个像素的三个YUV分量分别是Y2、U1、V1，两个像素共用一组U1、V1。

图 51.1.2 两个相邻的YUV422像素

YUV4:4:4格式和YUV4:2:2格式的数据流也是不同的。如一组连续的四个像素P1、P2、P3、P4，采用YUV444的采样格式时，数据流为Y0 U0 V0、Y1 U1 V1、Y2 U2 V2、Y3 U3 V3，每组数据代表一个像素点。而用YUV422的采样格式时，数据流为Y0 U0 Y1 V1、Y2 U2 Y3 V3。其中，Y0 U0 Y1 V1表示P1、P2两个像素，Y2 U2 Y3 V3表示P3、P4两个像素。本次实验运用的是YUV4:4:4格式。
一般意义上 YCbCr 即为 YUV 信号，没有严格的划分。大家通常说的YUV就是指Ycbcr。CbCr 分别为蓝色色度分量、红色色度分量。下面为 RGB 与 YCbCr 色彩空间转换的算法公式， RGB 转 YCbCr 的公式如下所示：

图 51.1.3 RGB 转 YcbCr算法

由于 Verilog HDL 无法进行浮点运算，因此使用扩大 256 倍，再向右移 8Bit的方式，来转换公式，如下所示：

图 51.1.4 RGB 转 YcbCr算法

为了防止运算过程中出现负数，对上述公式进行进一步变换，得到如下公式：

图 51.1.5 RGB 转 YcbCr算法

实际上OV5640本身支持输出RGB、YUV格式的数据，本章节实验是着重于RGB转YUV的HDL算法实现，因此把摄像头设置为RGB565格式。当需要显示器显示灰度图时，只需要将转换后的Y值作为R、G、B三原色通道的输入就可以实现了。
51.2实验任务
本节实验任务是使用超越者开发板驱动OV5640摄像头采集RGB565格式的数据，使用FPGA将RGB565格式的彩色图像转换为灰度图像（取YCbCr色彩空间的亮度Y表示），并通过HDMI显示器实时显示转换后的灰度图。
51.3硬件设计
本章节中硬件设计与OV5640的HDMI显示实验完全相同，此处不再赘述。
51.4程序设计
根据实验任务，首先设计如图 51.4.1所示的系统框图，本章实验的系统框架延续了“OV5640摄像头HDMI显示实验”的整体架构。本次实验包括以下模块：时钟模块、DDR控制器模块、摄像头驱动模块、图像处理模块和HDMI顶层模块。其中时钟模块、DDR控制器模块、HDMI顶层模块和摄像头驱动模块本次实验没有做任何修改，这些模块在“OV5640摄像头HDMI显示实验”中已经说明过，这里不再赘述，本次实验只是添加了图像处理模块。
顶层系统框图如下所示：

图 51.4.1 顶层系统框图

由上图可知，时钟模块（clock）为HDMI顶层模块、DDR控制模块以及摄像头驱动模块提供驱动时钟。摄像头驱动模块控制着传感器初始化的开始与结束，传感器初始化完成后图像采集模块将采集到的数据写入图像处理模块，图像处理模块将处理后的数据存入DDR3，HDMI顶层模块从DDR控制模块中读出数据并驱动显示器显示，这时整个系统才完成了数据的采集、缓存与显示。需要注意的是图像数据采集模块是在DDR3和传感器都初始化完成之后才开始输出数据的，避免了在DDR3初始化过程中向里面写入数据。
顶层模块的代码如下：

1 module ov5640_hdmi_yuv(
2 input sys_clk， //系统时钟
3 input sys_rst_n， //系统复位，低电平有效
4 //摄像头接口
5 input cam_pclk， //cmos 数据像素时钟
6 input cam_vsync， //cmos 场同步信号
7 input cam_href， //cmos 行同步信号
8 input [7:0] cam_data， //cmos 数据
9 output cam_rst_n， //cmos 复位信号，低电平有效
10 output cam_pwdn ， //电源休眠模式选择 0：正常模式 1：电源休眠模式
11 output cam_scl， //cmos SCCB_SCL线
12 inout cam_sda， //cmos SCCB_SDA线
13 //ddr3 port
14 inout [15:0] mcb3_dram_dq，
15 output [13:0] mcb3_dram_a，
16 output [2:0] mcb3_dram_ba，
17 output mcb3_dram_ras_n，
18 output mcb3_dram_cas_n，
19 output mcb3_dram_we_n，
20 output mcb3_dram_reset_n，
21 output mcb3_dram_cke，
22 output mcb3_dram_dm，
23 inout mcb3_dram_udqs，
24 inout mcb3_dram_udqs_n，
25 inout mcb3_rzq，
26 inout mcb3_zio，
27 output mcb3_dram_udm，
28 inout mcb3_dram_dqs，
29 inout mcb3_dram_dqs_n，
30 output mcb3_dram_ck，
31 output mcb3_dram_ck_n，
32
33 output init_calib_complete，
34 //hdmi接口
35 output tmds_clk_p， // TMDS 时钟通道
36 output tmds_clk_n，
37 output [2:0] tmds_data_p， // TMDS 数据通道
38 output [2:0] tmds_data_n
39 );
40
41 //parameter define
42 parameter V_CMOS_DISP = 11'd768; //CMOS分辨率--行
43 parameter H_CMOS_DISP = 11'd1024; //CMOS分辨率--列
44 parameter TOTAL_H_PIXEL = H_CMOS_DISP + 12'd1216;
45 parameter TOTAL_V_PIXEL = V_CMOS_DISP + 12'd504;
46
47 //wire define
48 wire clk_50m ; //50mhz时钟
49 wire locked_100m ; //时钟锁定信号
50 wire locked_300m ; //时钟锁定信号
51 wire rst_n ; //全局复位
52 wire wr_en ; //DDR3控制器模块写使能
53 wire [15:0] wr_data ; //DDR3控制器模块写数据
54 wire rdata_req ; //DDR3控制器模块读使能
55 wire [15:0] rd_data ; //DDR3控制器模块读数据
56 wire cmos_frame_valid ; //数据有效使能信号
57 wire init_calib_complete ; //DDR3初始化完成init_calib_complete
58 wire sys_init_done ; //系统初始化完成(DDR初始化+摄像头初始化)
59 wire cmos_frame_vsync ; //输出帧有效场同步信号
60 wire lcd_de ; //LCD 数据输入使能
61 wire cmos_frame_href ; //输出帧有效行同步信号
62 wire [10:0] h_disp ; //水平分辨率
63 wire [10:0] v_disp ; //垂直分辨率
64 wire [29:0] ddr3_addr_max ; //存入DDR3的最大读写地址
65 wire [15:0] post_rgb ; //处理后的图像数据
66 wire post_frame_vsync ; //处理后的场信号
67 wire post_frame_de ; //处理后的数据有效使能
68 wire [10:0] pixel_xpos ; //像素点横坐标
69 wire [10:0] pixel_ypos ; //像素点纵坐标
70
71 //*****************************************************
72 //** main code
73 //*****************************************************
74 //待时钟锁定后产生复位结束信号
75 assign rst_n = sys_rst_n & locked_100m & locked_300m;
76
77 //系统初始化完成：DDR3初始化完成
78 assign sys_init_done = init_calib_complete;
79
80 //DDR3的最大读写地址
81 assign ddr3_addr_max = V_CMOS_DISP * H_CMOS_DISP;
82
83 //ov5640 驱动
84 ov5640_dri u_ov5640_dri(
85 .clk (clk_50m)，
86 .rst_n (rst_n)，
87
88 .cam_pclk (cam_pclk )，
89 .cam_vsync (cam_vsync)，
90 .cam_href (cam_href )，
91 .cam_data (cam_data )，
92 .cam_rst_n (cam_rst_n)，
93 .cam_pwdn (cam_pwdn )，
94 .cam_scl (cam_scl )，
95 .cam_sda (cam_sda )，
96
97 .capture_start (init_calib_complete)，
98 .cmos_h_pixel (H_CMOS_DISP)，
99 .cmos_v_pixel (V_CMOS_DISP)，
100 .total_h_pixel (TOTAL_H_PIXEL)，
101 .total_v_pixel (TOTAL_V_PIXEL)，
102 .cmos_frame_vsync (cmos_frame_vsync)，
103 .cmos_frame_href (cmos_frame_href)，
104 .cmos_frame_valid (cmos_frame_valid)，
105 .cmos_frame_data (wr_data)
106 );
107
108 //图像处理模块
109 vip u_vip(
110 //module clock
111 .clk (cam_pclk)， // 时钟信号
112 .rst_n (rst_n )， // 复位信号（低有效）
113 //图像处理前的数据接口
114 .pre_frame_vsync (cmos_frame_vsync)，
115 .pre_frame_hsync (cmos_frame_href)，
116 .pre_frame_de (cmos_frame_valid)，
117 .pre_rgb (wr_data)，
118 .xpos (pixel_xpos)，
119 .ypos (pixel_ypos)，
120 //图像处理后的数据接口
121 .post_frame_vsync (post_frame_vsync)， // 处理后的场信号
122 .post_frame_hsync ( )， // 处理后的行信号
123 .post_frame_de (post_frame_de)， // 处理后的数据有效使能
124 .post_rgb (post_rgb) // 处理后的图像数据
125
126 );
127
128 //ddr控制器
129 ddr3_control
130 #(
131 .C3_NUM_DQ_PINS (16)，
132 .C3_MEM_ADDR_WIDTH (14)，
133 .C3_MEM_BANKADDR_WIDTH (3)
134 )
135 u_ddr3_control(
136 .clk_ddr (clk_ddr)，
137 .clk_100m (clk_100m)，
138 .rst_n (sys_rst_n)，
139 .mcb3_dram_dq (mcb3_dram_dq )，
140 .mcb3_dram_a (mcb3_dram_a )，
141 .mcb3_dram_ba (mcb3_dram_ba )，
142 .mcb3_dram_ras_n (mcb3_dram_ras_n )，
143 .mcb3_dram_cas_n (mcb3_dram_cas_n )，
144 .mcb3_dram_we_n (mcb3_dram_we_n )，
145 .mcb3_dram_reset_n (mcb3_dram_reset_n)，
146 .mcb3_dram_cke (mcb3_dram_cke )，
147 .mcb3_dram_dm (mcb3_dram_dm )，
148 .mcb3_dram_udqs (mcb3_dram_udqs )，
149 .mcb3_dram_udqs_n (mcb3_dram_udqs_n )，
150 .mcb3_rzq (mcb3_rzq )，
151 .mcb3_zio (mcb3_zio )，
152 .mcb3_dram_udm (mcb3_dram_udm )，
153 .mcb3_dram_dqs (mcb3_dram_dqs )，
154 .mcb3_dram_dqs_n (mcb3_dram_dqs_n )，
155 .mcb3_dram_ck (mcb3_dram_ck )，
156 .mcb3_dram_ck_n (mcb3_dram_ck_n )，
157 .c3_calib_done (init_calib_complete)，
158
159 .ddr3_read_valid (1'b1 )，
160 .ddr3_pingpang_en (1'b1)，
161
162 //摄像头
163 .clk_write (cam_pclk)， //写时钟
164 .wr_en (post_frame_de)， //写使能
165 .wr_data (post_rgb)， //写数据
166 .wr_load (post_frame_vsync)， //写端更新信号
167 .wr_length (H_CMOS_DISP[10:3])， //一次写长度
168 .wr_max_addr (ddr3_addr_max)， //写最大地址
169 .wr_min_addr (0)， //写最小地址
170
171 .clk_read (pixel_clk)， //读时钟
172 .rd_load (video_vs)， //读端更新信号
173 .rd_en (rdata_req)， //读使能
174 .rd_max_addr (ddr3_addr_max)， //读最大地址
175 .rd_min_addr (0)， //读最小地址
176 .rd_length (H_CMOS_DISP[10:3])， //一次读长度
177 .rd_data (rd_data) //读数据
178
179 );
180
181 //时钟模块
182 clock u_clock(
183 .sys_clk (sys_clk)， //系统输入时钟
184
185 .clk_ddr (clk_ddr)， //ddr运行时钟
186 .clk_50m (clk_50m)， //50m时钟
187 .clk_100m (clk_100m)， //100m时钟
188 .locked_100m (locked_100m)， //时钟稳定信号
189 .locked_300m (locked_300m) //时钟稳定信号
190
191 );
192
193 //HDMI驱动显示模块
194 hdmi_top u_hdmi_top(
195 .clk_50m (clk_50m)，
196 .pixel_clk (pixel_clk)，
197 .sys_rst_n (sys_init_done & rst_n)，
198 //hdmi接口
199 .tmds_clk_p (tmds_clk_p )， // TMDS 时钟通道
200 .tmds_clk_n (tmds_clk_n )，
201 .tmds_data_p (tmds_data_p )， // TMDS 数据通道
202 .tmds_data_n (tmds_data_n )，
203 //用户接口
204 .h_disp (h_disp)， //HDMI屏水平分辨率
205 .v_disp (v_disp)， //HDMI屏垂直分辨率
206 .video_vs (video_vs)，
207 .pixel_xpos (pixel_xpos)，
208 .pixel_ypos (pixel_ypos)，
209 .data_in (rd_data)， //数据输入
210 .data_req (rdata_req) //请求数据输入
211 );
212
213 endmodule

复制代码

FPGA顶层模块（ov5640_hdmi_yuv）例化了以下五个模块：时钟模块（clock）、OV5640驱动模块（ov5640_dri）、图像处理模块（vip）、DDR控制模块（ddr3_control）和HDMI顶层模块（hdmi_top）。
时钟模块（clock）：时钟模块通过调用DCM_CLKGEN IP核实现，共输出3个时钟，频率分别为300Mhz、50Mhz时钟和100Mhz时钟。300Mhz时钟作为DDR控制模块的运行时钟；100Mhz时钟作为DDR控制模块的驱动时钟；50Mhz时钟作为OV5640驱动模块和HDMI顶层模块的驱动时钟。
OV5640驱动模块（ov5640_dri）：OV5640驱动模块负责驱动OV5640 SCCB接口总线，将像素时钟驱动下的传感器输出的场同步信号、行同步信号以及8位数据转换成DDR读写控制模块的写使能信号和16位写数据信号，完成对OV5640传感器图像的采集。
图像处理模块（vip）：对采集后的图像数据进行处理，并将处理后的数据存入DDR控制模块。
DDR控制模块（ddr3_control）：DDR读写控制器模块负责驱动DDR片外存储器，缓存图像传感器输出的图像数据。该模块将MIG IP核复杂的读写操作封装成类似FIFO的用户接口，非常方便用户的使用。有关DDR控制模块的详细介绍请大家参考“DDR读写测试实验”章节。
HDMI顶层模块（hdmi_top）：HDMI顶层模块负责驱动HDMI显示器的驱动信号的输出，同时为其他模块提供参数和数据请求信号。HDMI顶层模块例化了HDMI驱动模块（video_driver）和RGB转DVI模块（rgbtodvi_top）。HDMI驱动模块负责产生行场信号和数据有效使能信号和像素点的横纵坐标，并将内部信号data_req（数据请求信号）输出至端口，方便从DDR控制器中读取数据。RGB转DVI模块负责将RGB888格式的视频图像转换成TMDS数据输出。有关HDMI驱动模块、RGB转DVI模块的详细介绍请大家参考“HDMI彩条显示实验”章节。
图像处理模块负责图像数据的格式转换，代码如下：

1 module vip(
2 //module clock
3 input clk ， // 时钟信号
4 input rst_n ， // 复位信号（低有效）
5
6 //图像处理前的数据接口
7 input pre_frame_vsync，
8 input pre_frame_hsync，
9 input pre_frame_de ，
10 input [15:0] pre_rgb ，
11 input [10:0] xpos ，
12 input [10:0] ypos ，
13
14 //图像处理后的数据接口
15 output post_frame_vsync， // 场同步信号
16 output post_frame_hsync， // 行同步信号
17 output post_frame_de ， // 数据输入使能
18 output [15:0] post_rgb // RGB565颜色数据
19 );
20
21 //wire define
22 wire [ 7:0] img_y;
23 wire [15:0] post_rgb;
24 wire post_frame_vsync;
25 wire post_frame_hsync;
26 wire post_frame_de;
27 //*****************************************************
28 //** main code
29 //*****************************************************
30
31 assign post_rgb = {img_y[7:3]，img_y[7:2]，img_y[7:3]};
32
33 //RGB转YCbCr模块
34 rgb2ycbcr u_rgb2ycbcr(
35 //module clock
36 .clk (clk )， // 时钟信号
37 .rst_n (rst_n )， // 复位信号（低有效）
38 //图像处理前的数据接口
39 .pre_frame_vsync (pre_frame_vsync)， // vsync信号
40 .pre_frame_hsync (pre_frame_hsync)， // href信号
41 .pre_frame_de (pre_frame_de )， // data enable信号
42 .img_red (pre_rgb[15:11] )，
43 .img_green (pre_rgb[10:5 ] )，
44 .img_blue (pre_rgb[ 4:0 ] )，
45 //图像处理后的数据接口
46 .post_frame_vsync(post_frame_vsync)， // vsync信号
47 .post_frame_hsync(post_frame_hsync)， // href信号
48 .post_frame_de (post_frame_de)， // data enable信号
49 .img_y (img_y)，
50 .img_cb ()，
51 .img_cr ()
52 );
53
54 endmodule

复制代码

代码的第31行表示对转换后的8bit灰度数据进行位拼接，形成16bit的RGB565格式的数据输出。
代码的第34行至51行是对灰度转换模块的例化，在该模块以摄像头采集的16位RGB565红、绿、蓝三原色数据作为输入数据，通过算法实现RGB到YCbCr的转换，并输出8位灰度数据以及数据输出使能信号。
灰度转换模块负责将RGB565格式的图像数据转换为YCbCr格式数据，代码如下：

1 module rgb2ycbcr
2 (
3 //module clock
4 input clk ， // 模块驱动时钟
5 input rst_n ， // 复位信号
6
7 //图像处理前的数据接口
8 input pre_frame_vsync ， // vsync信号
9 input pre_frame_hsync ， // hsync信号
10 input pre_frame_de ， // data enable信号
11 input [4:0] img_red ， // 输入图像数据R
12 input [5:0] img_green ， // 输入图像数据G
13 input [4:0] img_blue ， // 输入图像数据B
14
15 //图像处理后的数据接口
16 output post_frame_vsync， // vsync信号
17 output post_frame_hsync， // hsync信号
18 output post_frame_de ， // data enable信号
19 output [7:0] img_y ， // 输出图像Y数据
20 output [7:0] img_cb ， // 输出图像Cb数据
21 output [7:0] img_cr // 输出图像Cr数据
22 );
23
24 //reg define
25 reg [15:0] rgb_r_m0， rgb_r_m1， rgb_r_m2;
26 reg [15:0] rgb_g_m0， rgb_g_m1， rgb_g_m2;
27 reg [15:0] rgb_b_m0， rgb_b_m1， rgb_b_m2;
28 reg [15:0] img_y0 ;
29 reg [15:0] img_cb0;
30 reg [15:0] img_cr0;
31 reg [ 7:0] img_y1 ;
32 reg [ 7:0] img_cb1;
33 reg [ 7:0] img_cr1;
34 reg [ 2:0] pre_frame_vsync_d;
35 reg [ 2:0] pre_frame_hsync_d;
36 reg [ 2:0] pre_frame_de_d ;
37
38 //wire define
39 wire [ 7:0] rgb888_r;
40 wire [ 7:0] rgb888_g;
41 wire [ 7:0] rgb888_b;
42
43 //*****************************************************
44 //** main code
45 //*****************************************************
46
47 //RGB565 to RGB 888
48 assign rgb888_r = {img_red ， img_red[4:2] };
49 assign rgb888_g = {img_green， img_green[5:4]};
50 assign rgb888_b = {img_blue ， img_blue[4:2] };
51 //同步输出数据接口信号
52 assign post_frame_vsync = pre_frame_vsync_d[2] ;
53 assign post_frame_hsync = pre_frame_hsync_d[2] ;
54 assign post_frame_de = pre_frame_de_d[2] ;
55 assign img_y = post_frame_hsync ? img_y1 : 8'd0;
56 assign img_cb = post_frame_hsync ? img_cb1: 8'd0;
57 assign img_cr = post_frame_hsync ? img_cr1: 8'd0;
58
59 //--------------------------------------------
60 //RGB 888 to YCbCr
61
62 /********************************************************
63 RGB888 to YCbCr
64 Y = 0.299R +0.587G + 0.114B
65 Cb = 0.568(B-Y) + 128 = -0.172R-0.339G + 0.511B + 128
66 CR = 0.713(R-Y) + 128 = 0.511R-0.428G -0.083B + 128
67
68 Y = (77 *R + 150*G + 29 *B)>>8
69 Cb = (-43*R - 85 *G + 128*B)>>8 + 128
70 Cr = (128*R - 107*G - 21 *B)>>8 + 128
71
72 Y = (77 *R + 150*G + 29 *B )>>8
73 Cb = (-43*R - 85 *G + 128*B + 32768)>>8
74 Cr = (128*R - 107*G - 21 *B + 32768)>>8
75 *********************************************************/
76
77 //step1 pipeline mult
78 always @(posedge clk or negedge rst_n) begin
79 if(!rst_n) begin
80 rgb_r_m0 <= 16'd0;
81 rgb_r_m1 <= 16'd0;
82 rgb_r_m2 <= 16'd0;
83 rgb_g_m0 <= 16'd0;
84 rgb_g_m1 <= 16'd0;
85 rgb_g_m2 <= 16'd0;
86 rgb_b_m0 <= 16'd0;
87 rgb_b_m1 <= 16'd0;
88 rgb_b_m2 <= 16'd0;
89 end
90 else begin
91 rgb_r_m0 <= rgb888_r * 8'd77 ;
92 rgb_r_m1 <= rgb888_r * 8'd43 ;
93 rgb_r_m2 <= rgb888_r << 3'd7 ;
94 rgb_g_m0 <= rgb888_g * 8'd150;
95 rgb_g_m1 <= rgb888_g * 8'd85 ;
96 rgb_g_m2 <= rgb888_g * 8'd107;
97 rgb_b_m0 <= rgb888_b * 8'd29 ;
98 rgb_b_m1 <= rgb888_b << 3'd7 ;
99 rgb_b_m2 <= rgb888_b * 8'd21 ;
100 end
101 end
102
103 //step2 pipeline add
104 always @(posedge clk or negedge rst_n) begin
105 if(!rst_n) begin
106 img_y0 <= 16'd0;
107 img_cb0 <= 16'd0;
108 img_cr0 <= 16'd0;
109 end
110 else begin
111 img_y0 <= rgb_r_m0 + rgb_g_m0 + rgb_b_m0;
112 img_cb0 <= rgb_b_m1 - rgb_r_m1 - rgb_g_m1 + 16'd32768;
113 img_cr0 <= rgb_r_m2 - rgb_g_m2 - rgb_b_m2 + 16'd32768;
114 end
115
116 end
117
118 //step3 pipeline div
119 always @(posedge clk or negedge rst_n) begin
120 if(!rst_n) begin
121 img_y1 <= 8'd0;
122 img_cb1 <= 8'd0;
123 img_cr1 <= 8'd0;
124 end
125 else begin
126 img_y1 <= img_y0 [15:8];
127 img_cb1 <= img_cb0[15:8];
128 img_cr1 <= img_cr0[15:8];
129 end
130 end
131
132 //延时3拍以同步数据信号
133 always@(posedge clk or negedge rst_n) begin
134 if(!rst_n) begin
135 pre_frame_vsync_d <= 3'd0;
136 pre_frame_hsync_d <= 3'd0;
137 pre_frame_de_d <= 3'd0;
138 end
139 else begin
140 pre_frame_vsync_d <= {pre_frame_vsync_d[1:0]， pre_frame_vsync};
141 pre_frame_hsync_d <= {pre_frame_hsync_d[1:0]， pre_frame_hsync};
142 pre_frame_de_d <= {pre_frame_de_d[1:0] ， pre_frame_de };
143 end
144 end
145
146 endmodule

复制代码

在RGB转成YUV格式的算法换算过程中数据都是以8位的数据进行的，因而我们需要将RGB565格式的数据转换成RGB888的格式，如代码第48至50行所示，此处采用的是高位补充低位的方法；下面就是进行RGB565转YCbCr算法的HDL实现：
第一步，先计算出前面公式中括号里每一个乘法的乘积，如代码第78至101行所示；
第二步，计算出Y、Cb、Cr括号内的值，代码104至116行；
第三步，右移 8bit，由于 Step2 计算结果为 16bit，因此直接提取高8位即可，代码如119至130行所示。
实际上从第一步到第三步的运算，均直接通过寄存器描述，没有顾虑行场有效时序等。但在实际电路中会有一个数据流上的先后顺序，这三步操作同时对连续数据进行处理，通过这种方式实现硬件加速的方法称为流水线设计。前面计算出 Y、Cb、Cr 我们消耗了step1、step2、step3这三个时钟，因此需要将输入的行场信号、使能信号同步移动 3 个时钟，如代码第133至144行。
51.5下载验证
编译完工程之后就可以开始下载程序了。将OV5640摄像头模块插在超越者开发板的“OLED/CAMERA”插座上，并将HDMI电缆一端连接到开发板上的HDMI插座、另一端连接到显示器。将下载器一端连电脑，另一端与开发板上的JTAG端口连接，连接电源线并打开电源开关。接下来我们下载程序，验证OV5640 HDMI灰度实时显示功能。下载完成后HDMI显示器上会显示OV5640摄像头采集到的经FPGA处理后的灰度图像，如下图所示，说明OV5640 HDMI灰度实时显示程序下载验证成功。

图 51.5.1 OV5640 HDMI灰度实时显示

帐号		自动登录	找回密码
密码			立即注册

[XILINX] 【正点原子FPGA连载】第五十一章OV5640摄像头HDMI灰度显示实验--摘自【正点原子】超越者之FPGA开发指南

相关帖子

浏览过的版块

原子哥极力推荐 /1