《DNK210使用指南 -CanMV版 V1.0》第三十六章 image图像色块追踪实验

正点原子运营

第三十六章 image图像色块追踪实验

1）实验平台：正点原子DNK210开发板

2）章节摘自【正点原子】DNK210使用指南 - CanMV版 V1.0

3）购买链接：https://detail.tmall.com/item.htm?&id=782801398750

4）全套实验源码+手册+视频下载地址：http://www.openedv.com/docs/boards/k210/ATK-DNK210.html

5）正点原子官方B站：https://space.bilibili.com/394620890

6）正点原子K210技术交流企鹅群:605557868

在上一章节中，介绍了image模块中图像特征检测方法给的使用，本章将继续介绍image模块中图像色块追踪方法的使用。通过本章的学习，读者将学习到image模块中图像色块追踪的使用。

本章分为如下几个小节：

36.1 image模块图像色块追踪方法介绍

36.2 硬件设计

36.3 程序设计

36.4 运行验证

36.1 image模块图像色块追踪方法介绍

image模块为Image对象提供了find_blobs()方法，用于查找图像中的所有色块，find_blobs()方法如下所示：

1. image.find_blobs(thresholds, invert=False, roi, x_stride=2, y_stride=1, area_threshold=10, pixels_threshold=10, merge=False, margin=0, threshold_cb, merge_cb)

复制代码

find_blobs()方法用于根据指定的颜色阈值查找图像中的所有色块，并返回image.blob对象列表。

thresholds指的是颜色阈值，该参数必须是元组列表，对于灰度图，每个阈值元组需包含两个值，分别为最小灰度值和最大灰度值，对于RGB565图像，每个阈值元组需要包含六个值，分别是LAB色彩空间下，L、A、B三个通道的最大值和最小值，若要追踪多种颜色的色块，可以在阈值元组列表中传入多个阈值元组。

invert指的是是否对阈值进行翻转操作，阈值翻转后，将追踪阈值之外的色块。

roi指的是对Image对象感兴趣的区域，若未指定，即为图像矩形。

x_stride和y_stride指的是图像处理时需要跳过的X和Y像素的数量，若已知被检测色块较大，可以增加该参数。

area_threshold指的是边界框区域阈值，边界框区域小于该参数的色块将会被过滤。

pixels_threshold指的是像素数量阈值，像素数量小于该参数的速快将会被过滤。

merge指的是是否合并边缘矩形相互交错重重叠且没有被过滤的色块。

margin指的是增大或减小相较测试用色块边界矩形的大小。

threshold_cb指的是阈值过滤的回调函数，该函数会接收到被过滤色块的image.blob对象，并通过返回True来保留色块，通过返回False来过滤色块。

merge_cb指的是色块合并回调函数，该函数会接收到两个即将被合并的色块的image.blob对象，并通过返回True来合并色块，通过返回False来禁止色块合并。

find_blobs()方法会返回image.blobs对象列表。

find_blobs()方法的使用示例如下所示：

1. import image
   
2. img = image.Image(size=(320, 240))
   
3. threshold = (8, 63, 8, 49, -77, -36)
   
4. blobs = img.find_blobs([threshold], False, (0, 0, img.width(), img.height()), x_stride=2, y_stride=1, area_threshold=10, pixels_threshold=10, merge=True, margin=10)
   
5. for b in blobs:
   
6.     img.draw_rectangle(b.rect(), color=(255, 0, 0))

复制代码

关于颜色阈值的设定，CanMVIDE软件提供了“阈值编辑器”工具，可以方便地获取到想要的阈值。通过依次点击CanMV IDE软件上方工具栏中的“工具”à“机器视觉”à“阈值编辑器”，即可打开“阈值编辑器”工具，打开时会提示需要导入一张源图像，可以直接使用“帧缓冲区”窗口中的图像，也可以从本地文件系统中选取，如下图所示：                                 

图36.1.1 打开“阈值编辑器”工具

选好源图像后，便会自动打开“阈值编辑器”工具窗口，接着便可通过提供的一些选项列表和滑块来调整需要的阈值，如下图所示：     

图36.1.2 “阈值编辑器”工具窗口

36.2 硬件设计

36.2.1 例程功能

1. 获取摄像头输出的图像，并使用image模块对图像进行色块追踪，追踪到色块后将其框出，最后将图像显示在LCD上。

36.2.2 硬件资源

本章实验内容，主要讲解image模块的使用，无需关注硬件资源。

36.2.3 原理图

本章实验内容，主要讲解image模块的使用，无需关注原理图。

36.3 程序设计

36.3.1 image模块图像色块追踪方法介绍

有关image模块图像色块追踪方法的介绍，请见第36.1小节《image模块图像色块追踪方法介绍》。

36.3.2 程序流程图

图36.3.2.1image图像色块追踪实验流程图

36.3.3 main.py代码

main.py中的脚本代码如下所示：

1. import lcd
   
2. import sensor
   
3. import gc
   
4. lcd.init()
   
5. sensor.reset()
   
6. sensor.set_framesize(sensor.QVGA)
   
7. sensor.set_pixformat(sensor.RGB565)
   
8. sensor.set_hmirror(False)
   
9. sensor.set_auto_gain(False, gain_db=6.0)
   
10. sensor.set_auto_whitebal(False)
    
11. while True:
    
12.     img= sensor.snapshot()
    
13.     # 色块追踪
    
14.    threshold = (7, 63, -21, 46, -71, -23)
    
15.    blobs = img.find_blobs([threshold], False, (0, 0, img.width(), img.height()), x_stride=2, y_stride=1, area_threshold=10, pixels_threshold=10, merge=True, margin=10)
    
16.     for b in blobs:
    
17.        img.draw_rectangle(b.rect(), color=(255, 0, 0))
    
18.     lcd.display(img)
    
19.     gc.collect()

复制代码

可以看到一开始是先初始化了LCD和摄像头，并且需要注意的是，在进行色块追踪时，需要关闭摄像头的自动增益和自动白平衡，才能得到更好的效果。

接着在一个循环中不断地获取摄像头输出的图像，因为获取到的图像就是Image对象，因此可以直接调用image模块为Image对象提供的各种方法，然后就是对图像进行色块追踪，并将其在图像中框出，最后在LCD显示图像。

36.4 运行验证

将DNK210开发板连接CanMV IDE，点击CanMV IDE上的“开始(运行脚本)”按钮后，便能看到LCD上显示了摄像头输出的图像，并且指定颜色阈值的色块也被框了出来，如下图所示：     

图36.4.1 框出追踪到的色块