本帖最后由 正点原子运营 于 2023-12-20 16:08 编辑
第四十一章 OV5640摄像头RGB-LCD显示实验
1）实验平台：正点原子 ATK-DFPGL22G开发板
2) 章节摘自【正点原子】ATK-DFPGL22G之FPGA开发指南_V1.0
6）FPGA技术交流QQ群:435699340
OV5640同OV7725一样，都是OmniVision（豪威科技）公司生产的CMOS图像传感器。不同的是，OV5640支持更高的分辨率、采集速率，具有更高的图像处理性能，主要应用在手机、数码相机、电脑多媒体等领域。本章将使用FPGA开发板实现对OV5640的数字图像采集并通过LCD实时显示。 本章分为以下几个章节： 1.1 简介 1.2 实验任务 1.3 硬件设计 1.4 程序设计 1.5 下载验证
1.1 简介OV5640是一款1/4英寸单芯片图像传感器，其感光阵列达到2592*1944（即500W像素），能实现最快15fpsQSXVGA（2592*1944）或者90fps VGA（640*480）分辨率的图像采集。传感器采用OmniVision推出的OmniBSI（背面照度）技术，使传感器达到更高的性能，如高灵敏度、低串扰和低噪声。传感器内部集成了图像处理的功能，包括自动曝光控制（AEC）、自动白平衡（AWB）等。同时该传感器支持LED补光、MIPI（移动产业处理器接口）输出接口和DVP（数字视频并行）输出接口选择、ISP（图像信号处理）以及AFC（自动聚焦控制）等功能。 OV5640的功能框图如下图所示： 由上图可知，时序发生器（timinggenerator）控制着感光阵列（image array）、放大器（AMP）、AD转换以及输出外部时序信号（VSYNC、HREF和PCLK），外部时钟XVCLK经过PLL锁相环后输出的时钟作为系统的控制时钟；感光阵列将光信号转化成模拟信号，经过增益放大器之后进入10位AD转换器；AD转换器将模拟信号转化成数字信号，并且经过ISP进行相关图像处理，最终输出所配置格式的10位视频数据流。增益放大器控制以及ISP等都可以通过寄存器（registers）来配置，配置寄存器的接口就是SCCB接口，该接口协议兼容IIC协议。 OV5640使用的是两线式SCCB接口总线，有关SCCB总线的详细介绍可以参考“OV7725摄像头RGB-LCD显示实验”中的简介部分。虽然OV5640和OV7725都是采用SCCB接口总线来配置寄存器，但不同的是，OV7725是用8位（1个字节）来表示寄存器地址，而OV5640是用16位（两个字节）表示寄存器地址。 OV5640SCCB的写传输协议如下图所示： 上图中的ID ADDRESS是由7位器件地址和1位读写控制位构成（0：写 1：读），OV5640的器件地址为7’h3c，所以在写传输协议中，ID Address（W）= 8’h78（器件地址左移1位，低位补0）；Sub-address(H)为高8位寄存器地址，Sub-address(L)为低8位寄存器地址，在OV5640众多寄存器中，有些寄存器是可改写的，有些是只读的，只有可改写的寄存器才能正确写入；Write Data为8位写数据，每一个寄存器地址对应8位的配置数据。 在OV5640正常工作之前，必须先对传感器进行初始化，即通过配置寄存器使其工作在预期的工作模式，以及得到较好画质的图像。因为SCCB的写传输协议和IIC几乎相同，因此我们可以直接使用IIC的驱动程序来配置摄像头。当然这么多寄存器也并非都需要配置，很多寄存器可以采用默认的值。OV公司提供了OV5640的软件应用手册（位于开发板所随附的资料“7_硬件资料/4_OV5640资料/ OV5640摄像头模块软件使用手册_1.3_Sonix.pdf”），如果某些寄存器不知道如何配置可以参考此手册，下表是本程序用到的关键寄存器的配置说明。
OV5640的寄存器较多，对于其它寄存器的描述可以参考OV5640的数据手册（位于开发板所随附的资料“7_硬件资料/4_OV5640资料/OV5640数据手册.pdf”）。需要注意的是，OV5640的数据手册并没有提供全部的寄存器描述，而大多数必要的寄存器配置在ov5640的软件应用手册中可以找到，可以结合这两个手册学习如何对OV5640进行配置。 1） 输出图像参数设置 接下来，我们介绍一下OV5640的ISP输入窗口设置、预缩放窗口设置和输出大小窗口设置，这几个设置与我们的正常使用密切相关，有必要了解一下，它们的设置关系如下图所示： ISP输入窗口设置（ISP Input Size）允许用户设置整个传感器显示区域（physical pixel size，2632*1951，其中2592*1944像素是有效的），开窗范围从0*0~2632*1951都可以任意设置。也就是上图中的X_ADDR_ST（寄存器地址0x3800、0x3801）、Y_ADDR_ST（寄存器地址0x3802、0x3803）、X_ADDR_END（寄存器地址0x3804、0x3805）和Y_ADDR_END（寄存器地址0x3806、0x3807）寄存器。该窗口设置范围中的像素数据将进入ISP进行图像处理。 预缩放窗口设置（pre-scalingsize）允许用户在ISP输入窗口的基础上进行裁剪，用于设置将进行缩放的窗口大小，该设置仅在ISP输入窗口内进行X/Y方向的偏移。可以通过X_OFFSET（寄存器地址0x3810、0x3811）和Y_OFFSET（寄存器地址0x3812、0x3813）进行配置。 输出大小窗口设置（dataoutput size）是在预缩放窗口的基础上，经过内部DSP进行缩放处理，并将处理后的数据输出给外部的图像窗口，图像窗口控制着最终的图像输出尺寸。可以通过X_OUTPUT_SIZE（寄存器地址0x3808、0x3809）和Y_OUTPUT_SIZE（寄存器地址0x380A、0x380B）进行配置。注意：当输出大小窗口与预缩放窗口比例不一致时，图像将进行缩放处理（图像变形），仅当两者比例一致时，输出比例才是1:1（正常图像）。 图 41.1.3 图像窗口设置中，右侧dataoutput size区域，才是OV5640输出给外部的图像尺寸，也就是显示在显示器或者液晶屏上面的图像大小。输出大小窗口与预缩放窗口比例不一致时，会进行缩放处理，在显示器上面看到的图像将会变形。 2） 输出像素格式 OV5640支持多种不同的数据像素格式，包括YUV（亮度参量和色度参量分开表示的像素格式）、RGB（其中RGB格式包含RGB565、RGB555等）以及RAW（原始图像数据），通过寄存器地址0x4300配置成不同的数据像素格式。 由于摄像头采集的图像最终要通过LCD显示，故我们将OV5640摄像头输出的图像像素数据配置成RGB565格式。由上表（表 41.1.1）可知，将寄存器0x4300寄存器的Bit[7:4]设置成0x6即可。OV5640支持调节RGB565输出格式中各颜色变量的顺序，对于我们常见的应用来说，一般是使用RGB或BGR序列。我们在“OV7725摄像头RGB-LCD显示实验”的章节中介绍过，OV7725摄像头按照RGB的顺序输出，本章我们将OV5640输出的RGB565的颜色顺序和OV7725保持一致，将寄存器0x4300寄存器的Bit[3:0]设置成0x1。因此，“OV7725摄像头RGB-LCD显示实验”章节中的图像采集模块可以直接用来采集OV5640输出的图像。 3） 彩条测试模式 图像传感器配置成彩条测试模式后，会输出彩色的条纹，方便测试图像传感器是否正常工作，通过配置寄存器0x503d的Bit[7]位打开和关闭彩条模式。当需要打开彩条模式时，寄存器0x503d配置成0x80，关闭时配置成0x00，下图为打开彩条模式后图像输出的条纹。 4） LED闪光灯 当外界环境光较暗时，传感器采集图像会受到较大影响，此时可以通过打开LED补光灯来弥补光照不足所带来的影响，就像手机在夜晚拍照时也会打开闪光灯来提高图像质量。通过配置寄存器0x3016=0x02，0x301c=0x02来使能LED补光灯功能；配置寄存器0x3019=0x02打开闪光灯，0x3019=0x00关闭闪光灯。 5） 图像输出时序 接下来，我们介绍一下OV5640的图像数据输出时序，首先我们简单介绍一些定义。 QSXGA，这里指：分辨率为2592*1944的输出格式，类似的还有：QXGA(2048*1536）、UXGA(1600*1200）、SXGA(1280*1024）、WXGA(1440*900）、WXGA(1280*800）、XGA(1024*768）、SVGA(800*600）、VGA(640*480）、QVGA(320*240）和QQVGA(160*120)等。 PCLK：像素时钟，一个PCLK时钟输出一个像素或者半个像素（像素数据的高8位或者低8位）。 VSYNC：帧同步信号。 HREF/HSYNC：行同步信号。 D[9:0]：像素数据，在RGB565格式中，只有高8位是有效的。 tPclk：一个时钟周期 。 tp：一个像素点的周期，在RGB565和YUV422输出格式下，tp=2*tPclk；Raw输出格式下，tp=tPclk。 下图为OV5640输出图像数据的行时序图。 从上图可以看出，传感器在HREF为高电平的时候输出图像数据，当HREF变高后，每一个 PCLK时钟，输出一个8位或者10位像素数据。比如我们采用QSXGA时序，RGB565格式输出，tp=2*tPclk，每2个字节组成一个像素的颜色，这样每行总共输出2592*2个PCLK，也就是2592*2个字节。 再来看看帧时序（QSXGA模式，分辨率2592*1944），如下图所示： 由上图可知，VSYNC的上升沿作为一帧的开始，高电平同步脉冲的时间为5688tp，紧接着等待48276tp时间后，HREF开始拉高，此时输出有效数据；HREF由2592tp个高电平和252tp个低电平构成；最后一行图像数据输出完成之后等待14544tp时间，一帧数据传输结束。所以输出一帧图像的时间实际上是tFrame =5596992tp。 从OV5640的行时序图和帧时序图可以发现，其输出时序和OV7725是非常相似的，只是时间参数不同而已，大家可以参考“OV7725摄像头RGB-LCD显示实验”中帧时序的介绍来学习OV5640的输出时序。
1.2 实验任务本节实验任务是使用ATK-DFPGL22G开发板及OV5640摄像头实现图像采集，并通过RGB-LCD接口驱动RGB-LCD液晶屏（支持目前正点原子推出的所有RGB-LCD屏），并实时显示出图像。
1.3 硬件设计我们的ATK-DFPGL22G开发板上有一个摄像头扩展接口，该接口可以用来连接OV7725/OV5640等摄像头模块，摄像头扩展接口原理图如下图所示： ATK-OV5640是正点原子推出的一款高性能500W像素高清摄像头模块。该模块通过2*9排针（2.54mm间距）同外部连接，我们将摄像头的排针直接插在开发板上的摄像头接口即可。 模块自带有源晶振，用于产生24MHz时钟作为OV5640的输入时钟。模块的闪光灯（LEDI&LED2）由OV5640的STROBE引脚控制，用户可通过SCCB接口总线控制STROBE引脚输出高低电平，从而控制LED闪光灯的亮灭。用户在使用LED灯时不建议一直点亮或者点亮时间太长。因为LED闪光灯功率较高，发光强度较强，模块温度上升会比较快，会造成器件的可靠性降低，同时注意避免直接照射人眼。 我们在前面说过，OV5640在RGB565模式下只有高8位数据是有效的即D[9:2]，而我们的摄像头排针上数据引脚的个数是8位。实际上，摄像头排针上的8位数据连接的就是OV5640传感器的D[9:2]，所以我们直接使用摄像头排针上的8位数据引脚即可。 由于LCD接口和DDR3引脚数目较多且在前面相应的章节中已经给出它们的管脚列表，这里只列出摄像头相关管脚分配，如下表所示： 表 41.3.1 OV5640摄像头RGB-LCD显示实验管脚分配 OV5640摄像头与OV7725摄像头的约束几乎相同，只是C2引脚的cam_sgm_ctrl信号改为cam_pwdn信号，除了信号名改变了，其余约束没有任何改变，所以这里不再赘述约束文件。
1.4 程序设计图 41.4.1是根据本章实验任务画出的系统框图。对比“OV7725摄像头RGB-LCD显示实验”的系统框图可以发现，本次实验只是把外设OV7725模块替换成了OV5640模块，将图像采集顶层模块替换成OV5640的驱动模块，并增加了一个摄像头图像分辨率设置模块，其余模块基本相同。图像采集顶层模块和OV5640驱动模块的区别在于，OV5640驱动模块删除了摄像头裁剪模块。这是由于OV5640摄像头分辨率的配置更灵活，可以与LCD屏的分辨率配置达成一致，因此本次实验不需要对摄像头图像进行裁剪。除此之外，本次实验还新增了一个摄像头图像分辨率设置模块，这个模块会根据LCD屏的ID，为OV5640驱动模块在配置摄像头分辨率时提供分辨率参数，也为DDR3控制器模块提供最大读写地址。时钟模块为OV5640驱动模块、LCD顶层模块以及DDR3控制器模块提供驱动时钟；OV5640驱动模块负责驱动外设OV5640摄像头和采集摄像头图像数据，并且把图像数据写入DDR3控制模块；DDR3控制模块负责将用户数据写入和读出片外DDR3存储器；LCD顶层模块负责驱动LCD屏和读取器件ID。 OV5640摄像头RGB-LCD显示系统框图如下图所示： 图 41.4.1 OV5640摄像头RGB-LCD显示系统框图 由上图可知，时钟模块（pll_clk）为LCD顶层模块、图像分辨率设置模块、DDR3控制模块以及OV5640驱动模块提供驱动时钟，OV5640驱动模块控制着传感器初始化的开始与结束，传感器初始化完成后图像采集模块将采集到的数据写入DDR3控制模块，LCD顶层模块从DDR3控制模块中读出数据，完成了数据的采集、缓存与显示。需要注意的是图像数据采集模块是在DDR3和传感器都初始化完成之后才开始输出数据的，避免了在DDR3初始化过程中向里面写入数据。 FPGA顶层模块（ov5640_lcd）例化了以下五个模块：时钟模块（pll_clk）、OV5640驱动模块（ov5640_dri）、摄像头图像分辨率设置模块（picture_size）、DDR3控制模块（ddr3_top）和LCD顶层模块（lcd_rgb_top）。 时钟模块（pll_clk）：时钟模块通过调用PLL IP核实现，共输出2个时钟，频率分别为50Mhz时钟和100Mhz时钟。100Mhz时钟作为LCD顶层模块输出时钟的源时钟；50Mhz 时钟作为I2C驱动模块、DDR3控制模块和LCD顶层模块的驱动时钟。 OV5640驱动模块（ov5640_dri）：OV5640驱动模块负责驱动OV5640 SCCB接口总线，将像素时钟驱动下的传感器输出的场同步信号、行同步信号以及8位数据转换成DDR3读写控制模块的写使能信号和16位写数据信号，完成对OV5640传感器图像的采集。 图像分辨率设置模块（picture_size）：图像尺寸配置模块用于配置摄像头输出图像尺寸的大小，此外还完成了DDR3的读写结束地址设置。 DDR3控制模块（ddr3_top）：DDR3读写控制器模块负责驱动DDR3片外存储器，缓存图像传感器输出的图像数据。该模块将DDR3 IP核复杂的读写操作封装成类似FIFO的用户接口，非常方便用户的使用。有关DDR3控制模块的详细介绍请大家参考“OV7725摄像头RGB-LCD显示实验”章节。 LCD顶层模块（lcd_rgb_top）：LCD 顶层模块负责驱动LCD屏的驱动信号的输出，同时为其他模块提供屏体参数、场同步信号和数据请求信号。有关LCD驱动模块的详细介绍请大家参考“OV7725摄像头RGB-LCD显示实验”章节。 顶层模块大部分的代码在介绍“OV7725摄像头RGB-LCD显示实验”章节时已经介绍过了，这里不再详述，但还有部分代码做了改动，顶层改动的代码如下： - 96 //摄像头图像分辨率设置模块
- 97 picture_size u_picture_size (
- 98 .rst_n (rst_n ),
- 99 .clk (clk_50m ),
- 100 .ID_lcd (lcd_id ), //LCD的器件ID
- 101
- 102 .cmos_h_pixel (h_disp ), //摄像头水平分辨率
- 103 .cmos_v_pixel (v_disp ), //摄像头垂直分辨率
- 104 .total_h_pixel (total_h_pixel), //水平总像素大小
- 105 .total_v_pixel (total_v_pixel), //垂直总像素大小
- 106 .sdram_max_addr (ddr3_addr_max) //ddr3最大读写地址
- 107 );
- 108
这段代码是对图像分辨率设置模块的一个顶层例化，图像尺寸配置模块用于配置摄像头输出图像尺寸的大小，此外还完成了DDR3的读写结束地址设置。 在程序的第102和第103行，信号h_disp和信号v_disp是摄像头将要配置的分辨率，信号total_h_pixel和信号total_v_pixel连接到OV5640驱动模块，这两个信号的配置最终会影响摄像头的帧率。 在程序的第106行，表示的是写入一块DDR3的最大读写地址。 - 109 //ov5640 驱动
- 110 ov5640_dri u_ov5640_dri(
- 111 .clk (clk_50m ),
- 112 .rst_n (rst_n ),
- 113
- 114 .cam_pclk (cam_pclk ),
- 115 .cam_vsync (cam_vsync ),
- 116 .cam_href (cam_href ),
- 117 .cam_data (cam_data ),
- 118 .cam_rst_n (cam_rst_n ),
- 119 .cam_pwdn (cam_pwdn ),
- 120 .cam_scl (cam_scl ),
- 121 .cam_sda (cam_sda ),
- 122
- 123 .capture_start (sys_init_done ),
- 124 .cam_init_done (cam_init_done ),
- 125 .cmos_h_pixel (h_disp ),
- 126 .cmos_v_pixel (v_disp ),
- 127 .total_h_pixel (total_h_pixel ),
- 128 .total_v_pixel (total_v_pixel ),
- 129 .cmos_frame_vsync (cmos_frame_vsync),
- 130 .cmos_frame_href (cmos_frame_href ),
- 131 .cmos_frame_valid (cmos_frame_valid),
- 132 .cmos_frame_data (wr_data )
- 133 );
这段代码是对OV5640驱动模块的一个顶层例化，负责驱动OV5640外设，采集图像等功能。 在程序的第114行至第121行，这几行的信号都是与外设OV5640相连的，负责驱动摄像头。 在程序的第123行，capture_start信号的作用是保证OV5640驱动模块在DDR3初始化没有完成之前不会对图像进行采集。 在程序的第125行至第128行，这四个信号是摄像头配置时需要的参数，使摄像头输出本次实验需要的行场分辨率和计算帧率的相关参数。 在程序的第131行和第132行，OV5640驱动模块输出的cmos_frame_valid（数据有效使能信号）和wr_data（有效数据）连接到DDR3控制模块，实现了图像数据的缓存。 图像尺寸配置模块用于配置摄像头输出图像尺寸的大小，此外还完成了DDR3的读写结束地址设置。图像分辨率设置模块的代码如下： - 1 module picture_size (
- 2 input rst_n ,
- 3 input clk ,
- 4 input [15:0 ID_lcd ,
- 5
- 6 output [12:0 cmos_h_pixel ,
- 7 output [12:0 cmos_v_pixel ,
- 8 output [12:0 total_h_pixel ,
- 9 output [12:0 total_v_pixel ,
- 10 output [27:0 sdram_max_addr
- 11 );
- 12
- 13 reg [12:0 cmos_h_pixel;
- 14 reg [12:0 cmos_v_pixel;
- 15 reg [12:0 total_h_pixel;
- 16 reg [12:0 total_v_pixel;
- 17 reg [27:0 sdram_max_addr;
- 18
- 19 //parameter define
- 20 parameter ID_4342 = 16'h4342;
- 21 parameter ID_7084 = 16'h7084;
- 22 parameter ID_7016 = 16'h7016;
- 23 parameter ID_1018 = 16'h1018;
- 24
- 25 //*****************************************************
- 26 //** main code
- 27 //*****************************************************
- 28
- 29 //配置摄像头输出尺寸的大小
- 30 always @(posedge clk or negedge rst_n) begin
- 31 if(!rst_n) begin
- 32 cmos_h_pixel <= 13'b0;
- 33 cmos_v_pixel <= 13'd0;
- 34 sdram_max_addr <= 28'd0;
- 35 end
- 36 else begin
- 37 case(ID_lcd )
- 38 16'h4342 : begin
- 39 cmos_h_pixel <=13'd480;
- 40 cmos_v_pixel <=13'd272;
- 41 sdram_max_addr <= 28'd130560;
- 42 end
- 43 16'h7084 : begin
- 44 cmos_h_pixel <=13'd800;
- 45 cmos_v_pixel <=13'd480;
- 46 sdram_max_addr <= 28'd384000;
- 47 end
- 48 16'h7016 : begin
- 49 cmos_h_pixel <=13'd1024;
- 50 cmos_v_pixel <=13'd600;
- 51 sdram_max_addr <= 28'd614400;
- 52 end
- 53 16'h1018 : begin
- 54 cmos_h_pixel <=13'd1280;
- 55 cmos_v_pixel <=13'd800;
- 56 sdram_max_addr <= 28'd1024000;
- 57 end
- 58 default : begin
- 59 cmos_h_pixel <=13'd800;
- 60 cmos_v_pixel <=13'd480;
- 61 sdram_max_addr <= 28'd384000;
- 62 end
- 63 endcase
- 64 end
- 65 end
- 66
- 67 //对HTS及VTS的配置会影响摄像头输出图像的帧率
- 68 always @(posedge clk ) begin
- 69 case(ID_lcd)
- 70 ID_4342 : begin
- 71 total_h_pixel <= 13'd1800;
- 72 total_v_pixel <= 13'd1000;
- 73 end
- 74 ID_7084 : begin
- 75 total_h_pixel <= 13'd1800;
- 76 total_v_pixel <= 13'd1000;
- 77 end
- 78 ID_7016 : begin
- 79 total_h_pixel <= 13'd2200;
- 80 total_v_pixel <= 13'd1000;
- 81 end
- 82 ID_1018 : begin
- 83 total_h_pixel <= 13'd2570;
- 84 total_v_pixel <= 13'd980;
- 85 end
- 86 default : begin
- 87 total_h_pixel <= 13'd1800;
- 88 total_v_pixel <= 13'd1000;
- 89 end
- 90 endcase
- 91 end
- 92
- 93 endmodule
在代码的第29至第65行，根据输入的LCD屏ID对摄像头输出图像尺寸相关的参数（cmos_h_pixel、cmos_v_pixel）进行了配置。同时还配置了一帧图像在一块DDR3里的结束缓存地址sdram_max_addr，它是cmos_h_pixel、cmos_v_pixel的乘积。 在代码的67至91行，对影响帧率的参数total_h_pixel、total_v_pixel进行了配置。 本次实验的OV5640驱动模块包含以下三个模块：I2C驱动模块（i2c_dri）、I2C 配置模块（i2c_ov5640_rgb565_cfg）和图像采集模块（cmos_capture_data）。 I2C驱动模块（i2c_dri）：I2C驱动模块负责驱动OV5640SCCB接口总线，用户可根据该模块提供的用户接口很方便的对OV5640的寄存器进行配置，该模块和“EEPROM读写实验”章节中用到的I2C驱动模块为同一个模块，有关该模块的详细介绍请大家参考“EEPROM读写实验”章节。 I2C配置模块（i2c_ov5640_rgb565_cfg）：I2C配置模块的驱动时钟是由I2C驱动模块输出的时钟提供的，这样方便了I2C驱动模块和I2C配置模块之间的数据交互。该模块寄存需要配置的寄存器地址、数据以及控制初始化的开始与结束，同时该模块输出OV5640的寄存器地址和数据以及控制I2C驱动模块开始执行的控制信号，直接连接到I2C驱动模块的用户接口，从而完成对OV5640传感器的初始化。 图像采集模块（cmos_capture_data）：摄像头采集模块在像素时钟的驱动下将传感器输出的场同步信号、行同步信号以及8位数据转换成DDR3读写控制模块的写使能信号和16位写数据信号，完成对OV5640传感器图像的采集。OV5640和OV7725图像输出时序非常相似，有关该模块的详细介绍请大家参考“OV7725摄像头RGB-LCD显示实验”章节。 OV5640 驱动模块的代码如下： - 1 module ov5640_dri (
- 2 input clk , //时钟
- 3 input rst_n , //复位信号,低电平有效
- 4 //摄像头接口
- 5 input cam_pclk , //cmos 数据像素时钟
- 6 input cam_vsync , //cmos 场同步信号
- 7 input cam_href , //cmos 行同步信号
- 8 input [7:0 cam_data , //cmos 数据
- 9 output cam_rst_n , //cmos 复位信号，低电平有效
- 10 output cam_pwdn , //cmos 电源休眠模式选择信号
- 11 output cam_scl , //cmos SCCB_SCL线
- 12 inout cam_sda , //cmos SCCB_SDA线
- 13
- 14 //摄像头分辨率配置接口
- 15 input [12:0 cmos_h_pixel , //水平方向分辨率
- 16 input [12:0 cmos_v_pixel , //垂直方向分辨率
- 17 input [12:0 total_h_pixel , //水平总像素大小
- 18 input [12:0 total_v_pixel , //垂直总像素大小
- 19 input capture_start , //图像采集开始信号
- 20 output cam_init_done , //摄像头初始化完成
- 21
- 22 //用户接口
- 23 output cmos_frame_vsync, //帧有效信号
- 24 output cmos_frame_href , //行有效信号
- 25 output cmos_frame_valid, //数据有效使能信号
- 26 output [15:0 cmos_frame_data //有效数据
- 27 );
- 28
- 29 //parameter define
- 30 parameter SLAVE_ADDR = 7'h3c ; //OV5640的器件地址7'h3c
- 31 parameter BIT_CTRL =1'b1 ; //OV5640的字节地址为16位 0:8位 1:16位
- 32 parameter CLK_FREQ =27'd50_000_000 ; //i2c_dri模块的驱动时钟频率
- 33 parameter I2C_FREQ =18'd250_000 ; //I2C的SCL时钟频率,不超过400KHz
- 34
- 35 //wire difine
- 36 wire i2c_exec ; //I2C触发执行信号
- 37 wire [23:0 i2c_data ; //I2C要配置的地址与数据(高8位地址,低8位数据)
- 38 wire i2c_done ; //I2C寄存器配置完成信号
- 39 wire i2c_dri_clk ; //I2C操作时钟
- 40 wire [ 7:0 i2c_data_r ; //I2C读出的数据
- 41 wire i2c_rh_wl ; //I2C读写控制信号
- 42
- 43 //*****************************************************
- 44 //** main code
- 45 //*****************************************************
- 46
- 47 //电源休眠模式选择 0：正常模式 1：电源休眠模式
- 48 assign cam_pwdn = 1'b0;
- 49 assign cam_rst_n = 1'b1;
- 50
- 51 //I2C配置模块
- 52 i2c_ov5640_rgb565_cfg u_i2c_cfg(
- 53 .clk (i2c_dri_clk),
- 54 .rst_n (rst_n),
- 55
- 56 .i2c_exec (i2c_exec),
- 57 .i2c_data (i2c_data),
- 58 .i2c_rh_wl (i2c_rh_wl), //I2C读写控制信号
- 59 .i2c_done (i2c_done),
- 60 .i2c_data_r (i2c_data_r),
- 61
- 62 .cmos_h_pixel (cmos_h_pixel), //CMOS水平方向像素个数
- 63 .cmos_v_pixel (cmos_v_pixel) , //CMOS垂直方向像素个数
- 64 .total_h_pixel (total_h_pixel), //水平总像素大小
- 65 .total_v_pixel (total_v_pixel), //垂直总像素大小
- 66
- 67 .init_done (cam_init_done)
- 68 );
- 69
- 70 //I2C驱动模块
- 71 i2c_dri #(
- 72 .SLAVE_ADDR (SLAVE_ADDR), //参数传递
- 73 .CLK_FREQ (CLK_FREQ ),
- 74 .I2C_FREQ (I2C_FREQ )
- 75 )
- 76 u_i2c_dr(
- 77 .clk (clk),
- 78 .rst_n (rst_n ),
- 79 .i2c_exec (i2c_exec ),
- 80 .bit_ctrl (BIT_CTRL ),
- 81 .i2c_rh_wl (i2c_rh_wl), //固定为0，只用到了IIC驱动的写操作
- 82 .i2c_addr (i2c_data[23:8]),
- 83 .i2c_data_w (i2c_data[7:0]),
- 84 .i2c_data_r (i2c_data_r),
- 85 .i2c_done (i2c_done ),
- 86 .scl (cam_scl ),
- 87 .sda (cam_sda ),
- 88 .dri_clk (i2c_dri_clk) //I2C操作时钟
- 89 );
- 90
- 91 //CMOS图像数据采集模块
- 92 cmos_capture_data u_cmos_capture_data( //系统初始化完成之后再开始采集数据
- 93 .rst_n (rst_n & capture_start),
- 94 .cam_pclk (cam_pclk),
- 95 .cam_vsync (cam_vsync),
- 96 .cam_href (cam_href),
- 97 .cam_data (cam_data),
- 98 .cmos_frame_vsync (cmos_frame_vsync),
- 99 .cmos_frame_href (cmos_frame_href ),
- 100 .cmos_frame_valid (cmos_frame_valid), //数据有效使能信号
- 101 .cmos_frame_data (cmos_frame_data ) //有效数据
- 102 );
- 103
- 104 endmodule
在代码的第30行定义了OV5640的器件地址，其器件地址为7’h3c；第31行定义了寄存器地址的位宽，BIT_CTRL=0表示地址位宽为8位，BIT_CTRL=1表示地址位宽为16位。因为OV5640的地址位宽为16位，所以BIT_CTRL设置为1。 在代码的第62行至65行，添加了四个信号，用于配置摄像头输出的分辨率和计算帧率的相关参数。 OV5640和OV7725的寄存器配置差异较大，首先是OV5640是用16位数据来表示寄存器地址，而OV7725用8位数据表示寄存器地址。其次是OV5640集成更强大的图像处理功能，为了使OV5640输出比较清晰的图像，需要配置的寄存器更多。OV5640的寄存器配置模块部分代码如下： - 1 module i2c_ov5640_rgb565_cfg
- 2 (
- 3 input clk , //时钟信号
- 4 input rst_n , //复位信号，低电平有效
- 5
- 6 input [7:0 i2c_data_r, //I2C读出的数据
- 7 input i2c_done , //I2C寄存器配置完成信号
- 8 input [12:0 cmos_h_pixel ,
- 9 input [12:0 cmos_v_pixel ,
- 10 input [12:0 total_h_pixel, //水平总像素大小
- 11 input [12:0 total_v_pixel, //垂直总像素大小
- 12 output reg i2c_exec , //I2C触发执行信号
- 13 output reg [23:0 i2c_data , //I2C要配置的地址与数据(高16位地址,低8位数据)
- 14 output reg i2c_rh_wl, //I2C读写控制信号
- 15 output reg init_done //初始化完成信号
- 16 );
- 17
- 18 //parameter define
- 19 localparam REG_NUM = 8'd250 ; //总共需要配置的寄存器个数
- 20
- 21 //reg define
- 22 reg [12:0 start_init_cnt; //等待延时计数器
- 23 reg [7:0 init_reg_cnt ; //寄存器配置个数计数器
- 24
- 25 //*****************************************************
- 26 //** main code
- 27 //*****************************************************
- 28
- 29 //clk时钟配置成250khz,周期为4us5000*4us = 20ms
- 30 //OV5640上电到开始配置IIC至少等待20ms
- 31 always @(posedge clk or negedge rst_n) begin
- 32 if(!rst_n)
- 33 start_init_cnt <= 13'b0;
- 34 else if(start_init_cnt < 13'd5000) begin
- 35 start_init_cnt <= start_init_cnt + 1'b1;
- 36 end
- 37 end
- 38
- 39 //寄存器配置个数计数
- 40 always @(posedge clk or negedge rst_n) begin
- 41 if(!rst_n)
- 42 init_reg_cnt <= 8'd0;
- 43 else if(i2c_exec)
- 44 init_reg_cnt <= init_reg_cnt + 8'b1;
- 45 end
- 46
- 47 //i2c触发执行信号
- 48 always @(posedge clk or negedge rst_n) begin
- 49 if(!rst_n)
- 50 i2c_exec <= 1'b0;
- 51 else if(start_init_cnt == 13'd4999)
- 52 i2c_exec <= 1'b1;
- 53 else if(i2c_done && (init_reg_cnt < REG_NUM))
- 54 i2c_exec <= 1'b1;
- 55 else
- 56 i2c_exec <= 1'b0;
- 57 end
- 58
- 59 //配置I2C读写控制信号
- 60 always @(posedge clk or negedge rst_n) begin
- 61 if(!rst_n)
- 62 i2c_rh_wl <= 1'b1;
- 63 else if(init_reg_cnt == 8'd2)
- 64 i2c_rh_wl <= 1'b0;
- 65 end
- 66
- 67 //初始化完成信号
- 68 always @(posedge clk or negedge rst_n) begin
- 69 if(!rst_n)
- 70 init_done <= 1'b0;
- 71 else if((init_reg_cnt == REG_NUM) && i2c_done)
- 72 init_done <= 1'b1;
- 73 end
- 74
- 75 //配置寄存器地址与数据
- 76 always @(posedge clk or negedge rst_n) begin
- 77 if(!rst_n)
- 78 i2c_data <= 24'b0;
- 79 else begin
- 80 case(init_reg_cnt)
- 81 //先对寄存器进行软件复位，使寄存器恢复初始值
- 82 //寄存器软件复位后，需要延时1ms才能配置其它寄存器
- 83 8'd0 : i2c_data <= {16'h300a,8'h0}; //
- 84 8'd1 : i2c_data <= {16'h300b,8'h0}; //
- 85 8'd2 : i2c_data <= {16'h3008,8'h82}; //Bit[7]:复位 Bit[6]:电源休眠
- 86 8'd3 : i2c_data <= {16'h3008,8'h02}; //正常工作模式
- 87 8'd4 : i2c_data <= {16'h3103,8'h02}; //Bit[1]:1PLL Clock
- 88 //引脚输入/输出控制 FREX/VSYNC/HREF/PCLK/D[9:6]
- 89 8'd5 : i2c_data <= {8'h30,8'h17,8'hff};
- 90 //引脚输入/输出控制 D[5:0]/GPIO1/GPIO0
- 91 8'd6 : i2c_data <= {16'h3018,8'hff};
- 92 8'd7 : i2c_data <= {16'h3037,8'h13}; //PLL分频控制
- 93 8'd8 : i2c_data <= {16'h3108,8'h01}; //系统根分频器
- 94 8'd9 : i2c_data <= {16'h3630,8'h36};
- 95 8'd10 : i2c_data <= {16'h3631,8'h0e};
- 配置代码较长，省略部分源代码……
- 313 //设置输出像素个数
- 314 //DVP 输出水平像素点数高4位
- 315 8'd220: i2c_data <= {16'h3808,{4'd0,cmos_h_pixel[11:8]}};
- 316 //DVP 输出水平像素点数低8位
- 317 8'd221: i2c_data <= {16'h3809,cmos_h_pixel[7:0]};
- 318 //DVP 输出垂直像素点数高3位
- 319 8'd222: i2c_data <= {16'h380a,{5'd0,cmos_v_pixel[10:8]}};
- 320 //DVP 输出垂直像素点数低8位
- 321 8'd223: i2c_data <= {16'h380b,cmos_v_pixel[7:0]};
- 322 //水平总像素大小高5位
- 323 8'd224: i2c_data <= {16'h380c,{3'd0,total_h_pixel[12:8]}};
- 324 //水平总像素大小低8位
- 325 8'd225: i2c_data <= {16'h380d,total_h_pixel[7:0]};
- 326 //垂直总像素大小高5位
- 327 8'd226: i2c_data <= {16'h380e,{3'd0,total_v_pixel[12:8]}};
- 328 //垂直总像素大小低8位
- 329 8'd227: i2c_data <= {16'h380f,total_v_pixel[7:0]};
- 330 8'd228: i2c_data <= {16'h3813,8'h06};
- 331 8'd229: i2c_data <= {16'h3618,8'h00};
- 332 8'd230: i2c_data <= {16'h3612,8'h29};
- 333 8'd231: i2c_data <= {16'h3709,8'h52};
- 334 8'd232: i2c_data <= {16'h370c,8'h03};
- 335 8'd233: i2c_data <= {16'h3a02,8'h17}; //60Hzmax exposure
- 336 8'd234: i2c_data <= {16'h3a03,8'h10}; //60Hzmax exposure
- 337 8'd235: i2c_data <= {16'h3a14,8'h17}; //50Hzmax exposure
- 338 8'd236: i2c_data <= {16'h3a15,8'h10}; //50Hzmax exposure
- 339 8'd237: i2c_data <= {16'h4004,8'h02}; //BLC(背光) 2 lines
- 340 8'd238: i2c_data <= {16'h4713,8'h03}; //JPEGmode 3
- 341 8'd239: i2c_data <= {16'h4407,8'h04}; //量化标度
- 342 8'd240: i2c_data <= {16'h460c,8'h22};
- 343 8'd241: i2c_data <= {16'h4837,8'h22}; //DVPCLK divider
- 344 8'd242: i2c_data <= {16'h3824,8'h02}; //DVPCLK divider
- 345 8'd243: i2c_data <= {16'h5001,8'ha3}; //ISP 控制
- 346 8'd244: i2c_data <= {16'h3b07,8'h0a}; //帧曝光模式
- 347 //彩条测试使能
- 348 8'd245: i2c_data <= {16'h503d,8'h00}; //8'h00:正常模式 8'h80:彩条显示
- 349 //测试闪光灯功能
- 350 8'd246: i2c_data <= {16'h3016,8'h02};
- 351 8'd247: i2c_data <= {16'h301c,8'h02};
- 352 8'd248: i2c_data <= {16'h3019,8'h02}; //打开闪光灯
- 353 8'd249: i2c_data <= {16'h3019,8'h00}; //关闭闪光灯
- 354 //只读存储器,防止在case中没有列举的情况，之前的寄存器被重复改写
- 355 default : i2c_data <= {16'h300a,8'h00}; //器件ID高8位
- 356 endcase
- 357 end
- 358 end
- 359
- 360 endmodule
I2C配置模块寄存需要配置的寄存器地址、数据以及控制初始化的开始与结束。需要注意的是，由OV5640的数据手册可知，图像传感器上电后到开始配置寄存器需要延时20ms，所以程序中定义了一个延时计数器（start_init_cnt），用于延时20ms。当计数器计数到预设值之后，开始第一次配置传感器即软件复位，目的是让所有的寄存器复位到默认的状态。在代码的第19行定义了总共需要配置的寄存器的个数，如果增加或者删减了寄存器的配置，需要修改此参数。 在程序的第313行至第329行，是对摄像头需要输出的行场分辨率和行场总像素进行设置的寄存器配置。 因为OV5640摄像头分辨率的配置更灵活，可以与LCD屏的分辨率配置达成一致，所以LCD驱动显示模块中删除了lcd显示模块（即无需进行图像裁剪），顶层模块信号连接做了部分修改，修改代码如下： - 1 module lcd_rgb_top(
- 2 input sys_clk , //系统时钟
- 3 input clk_100m ,
- 4 input sys_rst_n , //复位信号
- 5 input sys_init_done,
- 6 //lcd接口
- 7 output lcd_clk , //LCD驱动时钟
- 8 output lcd_hs , //LCD 行同步信号
- 9 output lcd_vs , //LCD 场同步信号
- 10 output lcd_de , //LCD 数据输入使能
- 11 inout [23:0 lcd_rgb , //LCD RGB颜色数据
- 12 output lcd_bl , //LCD 背光控制信号
- 13 output lcd_rst , //LCD 复位信号
- 14 output lcd_pclk , //LCD 采样时钟
- 15 output [15:0 lcd_id , //LCD屏ID
- 16 output [10:0 pixel_xpos , //像素点横坐标
- 17 output [10:0 pixel_ypos , //像素点纵坐标
- 18 output out_vsync , //帧复位，高有效
- 19 output [10:0 h_disp , //LCD屏水平分辨率
- 20 output [10:0 v_disp , //LCD屏垂直分辨率
- 21 input [15:0 data_in , //数据输入
- 22 output data_req //请求数据输入
- 23
- 24 );
- 25
- 26 //wire define
- 27 wire data_req_w ; //请求像素点颜色数据输入
- 28 wire [10:0 pixel_xpos ; //像素点横坐标
- 29 wire [10:0 pixel_ypos ; //像素点纵坐标
- 30 wire out_vsync ; //帧复位，高有效
- 31 wire [10:0 h_disp ; //LCD屏水平分辨率
- 32 wire [10:0 v_disp ; //LCD屏垂直分辨率
- 33 wire [15:0 lcd_rgb_565 ; //输出的16位lcd数据
- 34 wire [23:0 lcd_rgb_o ; //LCD 输出颜色数据
- 35 wire [23:0 lcd_rgb_i ; //LCD 输入颜色数据
- 36
- 37 //*****************************************************
- 38 //** main code
- 39 //*****************************************************
- 40
- 41 //将摄像头16bit数据转换为24bit的lcd数据
- 42 assign lcd_rgb_o = {lcd_rgb_565[15:11],3'b000,lcd_rgb_565[10:5],2'b00,
- 43 lcd_rgb_565[4:0],3'b000};
- 44
- 45 //像素数据方向切换
- 46 assign lcd_rgb = lcd_de ? lcd_rgb_o : {24{1'bz}};
- 47 assign lcd_rgb_i = lcd_rgb;
- 48
- 49 //时钟分频模块
- 50 clk_div u_clk_div(
- 51 .clk (clk_100m ),
- 52 .rst_n (sys_rst_n),
- 53 .lcd_id (lcd_id ),
- 54 .lcd_pclk (lcd_clk )
- 55 );
- 56
- 57 //读LCD ID模块
- 58 rd_id u_rd_id(
- 59 .clk (sys_clk ),
- 60 .rst_n (sys_rst_n),
- 61 .lcd_rgb (lcd_rgb_i),
- 62 .lcd_id (lcd_id )
- 63 );
- 64
- 65 //lcd驱动模块
- 66 lcd_driver u_lcd_driver(
- 67 .lcd_clk (lcd_clk ),
- 68 .sys_rst_n (sys_rst_n & sys_init_done),
- 69 .lcd_id (lcd_id ),
- 70 .lcd_hs (lcd_hs ),
- 71 .lcd_vs (lcd_vs ),
- 72 .lcd_de (lcd_de ),
- 73 .lcd_rgb (lcd_rgb_565 ),
- 74 .lcd_bl (lcd_bl ),
- 75 .lcd_rst (lcd_rst ),
- 76 .lcd_pclk (lcd_pclk ),
- 77 .pixel_data (data_in ),
- 78 .data_req (data_req ),
- 79 .out_vsync (out_vsync ),
- 80 .h_disp (h_disp ),
- 81 .v_disp (v_disp ),
- 82 .pixel_xpos (pixel_xpos ),
- 83 .pixel_ypos (pixel_ypos )
- 84 );
- 85
- 86 endmodule
可以看出与OV7725的lcd驱动显示模块相比，OV5640的lcd驱动显示模块只是删除了对lcd显示模块的例化代码，并将部分交互信号（data_req和data_in）直连到了lcd驱动模块。 我们在前面说过，本章实验程序设计和“OV7725 摄像头RGB-LCD显示实验”相比，我们只是把外设OV7725模块替换成了OV5640模块，将图像采集顶层模块替换成OV5640的驱动模块，并增加了一个摄像头图像分辨率设置模块，其余模块基本相同，所以其它相同模块的程序设计详情请大家参“OV7725 摄像头RGB-LCD显示实验”章节。
1.5 下载验证首先将OV5640摄像头插入开发板上的摄像头扩展接口（注意摄像头镜头朝外）；将FPC排线一端与正点原子的7寸RGB模块上的J1接口连接，另一端与ATK-DFPGL22G开发板上的RGB_LCD接口连接；如图 41.5.1和图 41.5.2所示。连接时，先掀开FPC连接器上的黑色翻盖，将FPC排线蓝色面朝上插入连接器，最后将黑色翻盖压下以固定FPC排线。 连接实物图如下图所示：
图 41.5.1 ATK-7’ RGBLCD模块FPC连接器 最后将下载器一端连电脑，另一端与开发板上的JTAG端口连接，连接电源线并打开电源开关。接下来我们下载程序，验证OV5640摄像头RGB-LCD实时显示功能。下载完成后观察显示器的显示图像如下图所示，说明OV5640摄像头LCD显示程序下载验证成功。
|
/2 
|手机版|OpenEdv-开源电子网
( 粤ICP备12000418号-1 )
发表于 2023-12-21 15:37:06
发表于 2024-1-3 17:12:57
