在ATK-DLRV1126上使用usb摄像头+rkmedia实现图像采集

仰望星空之云

1、查看摄像头的video节点
插入USB摄像头以后，多了一个media5节点：

1. [root@ATK-DLRV1126:/demo/bin]# ls /dev/media*
   
2. /dev/media0  /dev/media1  /dev/media2  /dev/media3  /dev/media4  /dev/media5

复制代码

查看media5的拓扑结构：

1. [root@ATK-DLRV1126:/demo/bin]# media-ctl -p -d /dev/media5
   
2. Media controller API version 4.19.111
   
3. 
   
4. Media device information
   
5. ------------------------
   
6. driver          uvcvideo
   
7. model           USB Camera: USB Camera
   
8. serial
   
9. bus info        usb-ffe00000.usb-1.3
   
10. hw revision     0x924
    
11. driver version  4.19.111
    
12. 
    
13. Device topology
    
14. - entity 1: USB Camera: USB Camera (1 pad, 1 link)
    
15.             type Node subtype V4L flags 1
    
16.             device node name /dev/video45
    
17.         pad0: Sink
    
18.                 <- "Extension 4":1 [ENABLED,IMMUTABLE]
    
19. 
    
20. - entity 4: USB Camera: USB Camera (0 pad, 0 link)
    
21.             type Node subtype V4L flags 0
    
22.             device node name /dev/video46
    
23. 
    
24. - entity 8: Extension 4 (2 pads, 2 links)
    
25.             type V4L2 subdev subtype Unknown flags 0
    
26.         pad0: Sink
    
27.                 <- "Processing 3":1 [ENABLED,IMMUTABLE]
    
28.         pad1: Source
    
29.                 -> "USB Camera: USB Camera":0 [ENABLED,IMMUTABLE]
    
30. 
    
31. - entity 11: Processing 3 (2 pads, 2 links)
    
32.              type V4L2 subdev subtype Unknown flags 0
    
33.         pad0: Sink
    
34.                 <- "Camera 1":0 [ENABLED,IMMUTABLE]
    
35.         pad1: Source
    
36.                 -> "Extension 4":0 [ENABLED,IMMUTABLE]
    
37. 
    
38. - entity 14: Camera 1 (1 pad, 1 link)
    
39.              type V4L2 subdev subtype Unknown flags 0
    
40.         pad0: Source
    
41.                 -> "Processing 3":0 [ENABLED,IMMUTABLE]

复制代码

那么，USB摄像头的video节点是video45还是video46呢，可以用如下命令来查看：

1. [root@ATK-DLRV1126:/demo/bin]# v4l2-ctl -d /dev/video45 --all
   
2. Driver Info:
   
3.         Driver name      : uvcvideo
   
4.         Card type        : USB Camera: USB Camera
   
5.         Bus info         : usb-ffe00000.usb-1.3
   
6.         Driver version   : 4.19.111
   
7.         Capabilities     : 0x84a00001
   
8.                 Video Capture
   
9.                 Metadata Capture
   
10.                 Streaming
    
11.                 Extended Pix Format
    
12.                 Device Capabilities
    
13.         Device Caps      : 0x04200001
    
14.                 Video Capture
    
15.                 Streaming
    
16.                 Extended Pix Format
    
17. Media Driver Info:
    
18.         Driver name      : uvcvideo
    
19.         Model            : USB Camera: USB Camera
    
20.         Serial           :
    
21.         Bus info         : usb-ffe00000.usb-1.3
    
22.         Media version    : 4.19.111
    
23.         Hardware revision: 0x00000924 (2340)
    
24.         Driver version   : 4.19.111
    
25. Interface Info:
    
26.         ID               : 0x03000002
    
27.         Type             : V4L Video
    
28. Entity Info:
    
29.         ID               : 0x00000001 (1)
    
30.         Name             : USB Camera: USB Camera
    
31.         Function         : V4L2 I/O
    
32.         Flags         : default
    
33.         Pad 0x01000007   : 0: Sink
    
34.           Link 0x02000010: from remote pad 0x100000a of entity 'Extension 4': Data, Enabled, Immutable
    
35. Priority: 2
    
36. Video input : 0 (Camera 1: ok)
    
37. Format Video Capture:
    
38.         Width/Height      : 640/480
    
39.         Pixel Format      : 'MJPG' (Motion-JPEG)
    
40.         Field             : None
    
41.         Bytes per Line    : 0
    
42.         Size Image        : 307200
    
43.         Colorspace        : sRGB
    
44.         Transfer Function : Default (maps to sRGB)
    
45.         YCbCr/HSV Encoding: Default (maps to ITU-R 601)
    
46.         Quantization      : Default (maps to Full Range)
    
47.         Flags             :
    
48. Crop Capability Video Capture:
    
49.         Bounds      : Left 0, Top 0, Width 640, Height 480
    
50.         Default     : Left 0, Top 0, Width 640, Height 480
    
51.         Pixel Aspect: 1/1
    
52. Selection: crop_default, Left 0, Top 0, Width 640, Height 480, Flags:
    
53. Selection: crop_bounds, Left 0, Top 0, Width 640, Height 480, Flags:
    
54. Streaming Parameters Video Capture:
    
55.         Capabilities     : timeperframe
    
56.         Frames per second: 10.000 (10/1)
    
57.         Read buffers     : 0
    
58.                      brightness 0x00980900 (int)    : min=0 max=255 step=1 default=128 value=128
    
59.                        contrast 0x00980901 (int)    : min=0 max=100 step=1 default=0 value=0
    
60.                      saturation 0x00980902 (int)    : min=0 max=200 step=1 default=90 value=90
    
61.                             hue 0x00980903 (int)    : min=-180 max=180 step=1 default=0 value=0
    
62. white_balance_temperature_auto 0x0098090c (bool)   : default=1 value=1
    
63.                           gamma 0x00980910 (int)    : min=40 max=220 step=1 default=70 value=70
    
64.            power_line_frequency 0x00980918 (menu)   : min=0 max=2 default=2 value=1
    
65.       white_balance_temperature 0x0098091a (int)    : min=2800 max=6500 step=1 default=5000 value=6480 flags=inactive
    
66.                       sharpness 0x0098091b (int)    : min=0 max=10 step=1 default=4 value=4
    
67.          backlight_compensation 0x0098091c (int)    : min=0 max=5 step=1 default=0 value=0
    
68.                   exposure_auto 0x009a0901 (menu)   : min=0 max=3 default=3 value=3
    
69.               exposure_absolute 0x009a0902 (int)    : min=10 max=5000 step=1 default=2500 value=2500 flags=inactive
    
70.                   zoom_absolute 0x009a090d (int)    : min=0 max=50 step=1 default=0 value=0

复制代码

看到video45有像素格式，那么，USB摄像头应该使用的是video45
2、V4L2采集图像
查看video节点格式
先查看video45节点只支持的所有像素格式和分辨率吧：

1. [root@ATK-DLRV1126:/demo/bin]# v4l2-ctl -d /dev/video45 --list-formats
   
2. ioctl: VIDIOC_ENUM_FMT
   
3.         Type: Video Capture
   
4. 
   
5.         [0]: 'MJPG' (Motion-JPEG, compressed)
   
6.         [1]: 'YUYV' (YUYV 4:2:2)
   
7.         
   
8. [root@ATK-DLRV1126:/demo/bin]# v4l2-ctl -d /dev/video45 --list-formats-ext
   
9. ioctl: VIDIOC_ENUM_FMT
   
10.         Type: Video Capture
    
11. 
    
12.         [0]: 'MJPG' (Motion-JPEG, compressed)
    
13.                 Size: Discrete 640x480
    
14.                         Interval: Stepwise 0.033s - 1.000s with step 0.033s (1.000-30.000 fps)
    
15.                 Size: Discrete 320x240
    
16.                         Interval: Stepwise 0.033s - 1.000s with step 0.033s (1.000-30.000 fps)
    
17.                 Size: Discrete 160x120
    
18.                         Interval: Stepwise 0.033s - 1.000s with step 0.033s (1.000-30.000 fps)
    
19.                 Size: Discrete 176x144
    
20.                         Interval: Stepwise 0.033s - 1.000s with step 0.033s (1.000-30.000 fps)
    
21.                 Size: Discrete 352x288
    
22.                         Interval: Stepwise 0.033s - 1.000s with step 0.033s (1.000-30.000 fps)
    
23.         [1]: 'YUYV' (YUYV 4:2:2)
    
24.                 Size: Discrete 640x480
    
25.                         Interval: Discrete 0.033s (30.000 fps)
    
26.                         Interval: Discrete 0.050s (20.000 fps)
    
27.                         Interval: Discrete 0.067s (15.000 fps)
    
28.                         Interval: Discrete 0.100s (10.000 fps)
    
29.                         Interval: Discrete 0.200s (5.000 fps)
    
30.                         Interval: Discrete 1.000s (1.000 fps)
    
31.                 Size: Discrete 320x240
    
32.                         Interval: Discrete 0.033s (30.000 fps)
    
33.                         Interval: Discrete 0.050s (20.000 fps)
    
34.                         Interval: Discrete 0.067s (15.000 fps)
    
35.                         Interval: Discrete 0.100s (10.000 fps)
    
36.                         Interval: Discrete 0.102s (9.833 fps)
    
37.                         Interval: Discrete 1.000s (1.000 fps)
    
38.                 Size: Discrete 160x120
    
39.                         Interval: Discrete 0.033s (30.000 fps)
    
40.                         Interval: Discrete 0.050s (20.000 fps)
    
41.                         Interval: Discrete 0.067s (15.000 fps)
    
42.                         Interval: Discrete 0.100s (10.000 fps)
    
43.                         Interval: Discrete 0.102s (9.833 fps)
    
44.                         Interval: Discrete 1.000s (1.000 fps)
    
45.                 Size: Discrete 176x144
    
46.                         Interval: Discrete 0.033s (30.000 fps)
    
47.                         Interval: Discrete 0.050s (20.000 fps)
    
48.                         Interval: Discrete 0.067s (15.000 fps)
    
49.                         Interval: Discrete 0.100s (10.000 fps)
    
50.                         Interval: Discrete 0.102s (9.833 fps)
    
51.                         Interval: Discrete 1.000s (1.000 fps)
    
52.                 Size: Discrete 352x288
    
53.                         Interval: Discrete 0.033s (30.000 fps)
    
54.                         Interval: Discrete 0.050s (20.000 fps)
    
55.                         Interval: Discrete 0.067s (15.000 fps)
    
56.                         Interval: Discrete 0.100s (10.000 fps)
    
57.                         Interval: Discrete 0.102s (9.833 fps)
    
58.                         Interval: Discrete 1.000s (1.000 fps)
    
59. [root@ATK-DLRV1126:/demo/bin]#

复制代码

可以看到，支持YUYV 4:2:2，640x480大小，那么我们就采集这个格式的视频吧。
采集图像

1. v4l2-ctl -d /dev/video45 \
   
2. --set-fmt-video=width=640,height=480,\
   
3. pixelformat=YUYV \
   
4. --stream-mmap=3 \
   
5. --stream-skip=3 \
   
6. --stream-to=/tmp/cif.raw \
   
7. --stream-count=1 \
   
8. --stream-poll

复制代码

使用adb命令拷贝到ubuntu下查看，ubuntu下执行命令：

1. adb pull /tmp/cif.raw .
   
2. ffplay -f rawvideo -s 640x480 -pix_fmt yuyv422 cif.raw

复制代码

可以看到图片，v4l2能抓到图。


3、使用RKMedia采集图像
rkmedia_vi_vo代码改写

1. // Copyright 2020 Fuzhou Rockchip Electronics Co., Ltd. All rights reserved.
   
2. // Use of this source code is governed by a BSD-style license that can be
   
3. // found in the LICENSE file.
   
4. 
   
5. #include <assert.h>
   
6. #include <fcntl.h>
   
7. #include <getopt.h>
   
8. #include <signal.h>
   
9. #include <stdbool.h>
   
10. #include <stdio.h>
    
11. #include <stdlib.h>
    
12. #include <string.h>
    
13. #include <time.h>
    
14. #include <unistd.h>
    
15. 
    
16. #include "common/sample_common.h"
    
17. #include "rkmedia_api.h"
    
18. 
    
19. static bool quit = false;
    
20. static void sigterm_handler(int sig) {
    
21.   fprintf(stderr, "signal %d\n", sig);
    
22.   quit = true;
    
23. }
    
24. 
    
25. static RK_CHAR optstr[] = "?::a::I:h:w:M:";
    
26. static const struct option long_options[] = {
    
27.     {"aiq", optional_argument, NULL, 'a'},
    
28.     {"camid", required_argument, NULL, 'I'},
    
29.     {"multictx", required_argument, NULL, 'M'},
    
30.     {"help", optional_argument, NULL, '?'},
    
31.     {NULL, 0, NULL, 0},
    
32. };
    
33. 
    
34. static void print_usage(const RK_CHAR *name) {
    
35.   printf("usage example:\n");
    
36. #ifdef RKAIQ
    
37.   printf("\t%s [-a [iqfiles_dir]]"
    
38.          "[-I 0] "
    
39.          "[-M 0] "
    
40.          "\n",
    
41.          name);
    
42.   printf("\t-a | --aiq: enable aiq with dirpath provided, eg:-a "
    
43.          "/oem/etc/iqfiles/, "
    
44.          "set dirpath empty to using path by default, without this option aiq "
    
45.          "should run in other application\n");
    
46.   printf("\t-M | --multictx: switch of multictx in isp, set 0 to disable, set "
    
47.          "1 to enable. Default: 0\n");
    
48. #else
    
49.   printf("\t%s [-I 0]\n", name);
    
50. #endif
    
51.   printf("\t-I | --camid: camera ctx id, Default 0\n");
    
52.   printf("\t-w: DisplayWidth, Default: 720\n");
    
53.   printf("\t-h: DisplayHeight, Default: 1280\n");
    
54. }
    
55. 
    
56. int main(int argc, char *argv[]) {
    
57.   int ret = 0;
    
58.   
    
59. /*int video_width = 1920;
    
60.   int video_height = 1080;
    
61.   
    
62.   int disp_width = 720;
    
63.   int disp_height = 1280;*/
    
64.   RK_S32 s32CamId = 0;
    
65. #ifdef RKAIQ
    
66.   RK_BOOL bMultictx = RK_FALSE;
    
67. #endif
    
68.   int c;
    
69.   char *iq_file_dir = NULL;
    
70.   while ((c = getopt_long(argc, argv, optstr, long_options, NULL)) != -1) {
    
71.     const char *tmp_optarg = optarg;
    
72.     switch (c) {
    
73.     case 'a':
    
74.       if (!optarg && NULL != argv[optind] && '-' != argv[optind][0]) {
    
75.         tmp_optarg = argv[optind++];
    
76.       }
    
77.       if (tmp_optarg) {
    
78.         iq_file_dir = (char *)tmp_optarg;
    
79.       } else {
    
80.         iq_file_dir = "/oem/etc/iqfiles";
    
81.       }
    
82.       break;
    
83.     case 'I':
    
84.       s32CamId = atoi(optarg);
    
85.       break;
    
86.     case 'w':
    
87.       //disp_width = atoi(optarg);
    
88.       break;
    
89.     case 'h':
    
90.       //disp_height = atoi(optarg);
    
91.       break;
    
92. #ifdef RKAIQ
    
93.     case 'M':
    
94.       if (atoi(optarg)) {
    
95.         bMultictx = RK_TRUE;
    
96.       }
    
97.       break;
    
98. #endif
    
99.     case '?':
    
100.     default:
     
101.       print_usage(argv[0]);
     
102.       return 0;
     
103.     }
     
104.   }
     
105. 
     
106.   printf("#CameraIdx: %d\n\n", s32CamId);
     
107.   if (iq_file_dir) {
     
108. #ifdef RKAIQ
     
109.     printf("#Rkaiq XML DirPath: %s\n", iq_file_dir);
     
110.     printf("#bMultictx: %d\n\n", bMultictx);
     
111.     rk_aiq_working_mode_t hdr_mode = RK_AIQ_WORKING_MODE_NORMAL;
     
112.     int fps = 30;
     
113.     SAMPLE_COMM_ISP_Init(s32CamId, hdr_mode, bMultictx, iq_file_dir);
     
114.     SAMPLE_COMM_ISP_Run(s32CamId);
     
115.     SAMPLE_COMM_ISP_SetFrameRate(s32CamId, fps);
     
116. #endif
     
117.   }
     
118. 
     
119.   RK_MPI_SYS_Init();
     
120.   VI_CHN_ATTR_S vi_chn_attr;
     
121.   vi_chn_attr.pcVideoNode = "/dev/video45";
     
122.   vi_chn_attr.u32BufCnt = 3;
     
123.   vi_chn_attr.u32Width = 640;
     
124.   vi_chn_attr.u32Height = 480;
     
125.   vi_chn_attr.enPixFmt = IMAGE_TYPE_YUYV422;
     
126.   vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL;
     
127.   ret = RK_MPI_VI_SetChnAttr(s32CamId, 0, &vi_chn_attr);
     
128.   ret |= RK_MPI_VI_EnableChn(s32CamId, 0);
     
129.   if (ret) {
     
130.     printf("Create vi[0] failed! ret=%d\n", ret);
     
131.     return -1;
     
132.   }
     
133. 
     
134.   /* test rgn cover */
     
135.   COVER_INFO_S CoverInfo;
     
136.   OSD_REGION_INFO_S RngInfo;
     
137.   memset(&CoverInfo, 0, sizeof(CoverInfo));
     
138.   memset(&RngInfo, 0, sizeof(RngInfo));
     
139.   CoverInfo.enPixelFormat = PIXEL_FORMAT_ARGB_8888;
     
140.   CoverInfo.u32Color = 0xFFFF0000; // blue
     
141.   RngInfo.enRegionId = REGION_ID_0;
     
142.   RngInfo.u32PosX = 0;
     
143.   RngInfo.u32PosY = 0;
     
144.   RngInfo.u32Width = 100;
     
145.   RngInfo.u32Height = 100;
     
146.   RngInfo.u8Enable = 1;
     
147.   RK_MPI_VI_RGN_SetCover(s32CamId, 1, &RngInfo, &CoverInfo);
     
148. 
     
149.   // rga0 for primary plane
     
150.   RGA_ATTR_S stRgaAttr;
     
151.   memset(&stRgaAttr, 0, sizeof(stRgaAttr));
     
152.   stRgaAttr.bEnBufPool = RK_TRUE;
     
153.   stRgaAttr.u16BufPoolCnt = 3;
     
154.   stRgaAttr.u16Rotaion = 90;
     
155.   stRgaAttr.stImgIn.u32X = 0;
     
156.   stRgaAttr.stImgIn.u32Y = 0;
     
157.   stRgaAttr.stImgIn.imgType = IMAGE_TYPE_YUYV422;
     
158.   stRgaAttr.stImgIn.u32Width = 640;
     
159.   stRgaAttr.stImgIn.u32Height = 480;
     
160.   stRgaAttr.stImgIn.u32HorStride = 640;
     
161.   stRgaAttr.stImgIn.u32VirStride = 480;
     
162.   stRgaAttr.stImgOut.u32X = 0;
     
163.   stRgaAttr.stImgOut.u32Y = 0;
     
164.   stRgaAttr.stImgOut.imgType = IMAGE_TYPE_RGB888;
     
165.   stRgaAttr.stImgOut.u32Width = 640;
     
166.   stRgaAttr.stImgOut.u32Height = 480;
     
167.   stRgaAttr.stImgOut.u32HorStride = 640;
     
168.   stRgaAttr.stImgOut.u32VirStride = 480;
     
169.   ret = RK_MPI_RGA_CreateChn(0, &stRgaAttr);
     
170.   if (ret) {
     
171.     printf("Create rga[0] falied! ret=%d\n", ret);
     
172.     return -1;
     
173.   }
     
174. 
     
175.   VO_CHN_ATTR_S stVoAttr = {0};
     
176.   // VO[0] for primary plane
     
177.   stVoAttr.pcDevNode = "/dev/dri/card0";
     
178.   stVoAttr.emPlaneType = VO_PLANE_PRIMARY;
     
179.   stVoAttr.enImgType = IMAGE_TYPE_RGB888;
     
180.   stVoAttr.u16Zpos = 0;
     
181.   stVoAttr.stImgRect.s32X = 0;
     
182.   stVoAttr.stImgRect.s32Y = 0;
     
183.   stVoAttr.stImgRect.u32Width = 640;
     
184.   stVoAttr.stImgRect.u32Height = 480;
     
185.   stVoAttr.stDispRect.s32X = 0;
     
186.   stVoAttr.stDispRect.s32Y = 0;
     
187.   stVoAttr.stDispRect.u32Width = 640;
     
188.   stVoAttr.stDispRect.u32Height = 480;
     
189.   ret = RK_MPI_VO_CreateChn(0, &stVoAttr);
     
190.   if (ret) {
     
191.     printf("Create vo[0] failed! ret=%d\n", ret);
     
192.     return -1;
     
193.   }
     
194. 
     
195.   MPP_CHN_S stSrcChn = {0};
     
196.   MPP_CHN_S stDestChn = {0};
     
197. 
     
198.   printf("#Bind VI[0] to RGA[0]....\n");
     
199.   stSrcChn.enModId = RK_ID_VI;
     
200.   stSrcChn.s32ChnId = 0;
     
201.   stDestChn.enModId = RK_ID_RGA;
     
202.   stDestChn.s32ChnId = 0;
     
203.   ret = RK_MPI_SYS_Bind(&stSrcChn, &stDestChn);
     
204.   if (ret) {
     
205.     printf("Bind vi[0] to rga[0] failed! ret=%d\n", ret);
     
206.     return -1;
     
207.   }
     
208. 
     
209.   printf("# Bind RGA[0] to VO[0]....\n");
     
210.   stSrcChn.enModId = RK_ID_RGA;
     
211.   stSrcChn.s32ChnId = 0;
     
212.   stDestChn.enModId = RK_ID_VO;
     
213.   stDestChn.s32ChnId = 0;
     
214.   ret = RK_MPI_SYS_Bind(&stSrcChn, &stDestChn);
     
215.   if (ret) {
     
216.     printf("Bind rga[0] to vo[0] failed! ret=%d\n", ret);
     
217.     return -1;
     
218.   }
     
219. 
     
220.   printf("%s initial finish\n", __func__);
     
221.   signal(SIGINT, sigterm_handler);
     
222.   while (!quit) {
     
223.     usleep(500000);
     
224.   }
     
225. 
     
226.   printf("%s exit!\n", __func__);
     
227.   stSrcChn.enModId = RK_ID_VI;
     
228.   stSrcChn.s32ChnId = 0;
     
229.   stDestChn.enModId = RK_ID_RGA;
     
230.   stDestChn.s32ChnId = 0;
     
231.   ret = RK_MPI_SYS_UnBind(&stSrcChn, &stDestChn);
     
232.   if (ret) {
     
233.     printf("UnBind vi[0] to rga[0] failed! ret=%d\n", ret);
     
234.     return -1;
     
235.   }
     
236. 
     
237.   stSrcChn.enModId = RK_ID_RGA;
     
238.   stSrcChn.s32ChnId = 0;
     
239.   stDestChn.enModId = RK_ID_VO;
     
240.   stDestChn.s32ChnId = 0;
     
241.   ret = RK_MPI_SYS_UnBind(&stSrcChn, &stDestChn);
     
242.   if (ret) {
     
243.     printf("UnBind rga[0] to vo[0] failed! ret=%d\n", ret);
     
244.     return -1;
     
245.   }
     
246. 
     
247.   RK_MPI_VO_DestroyChn(0);
     
248.   RK_MPI_RGA_DestroyChn(0);
     
249.   RK_MPI_VI_DisableChn(s32CamId, 0);
     
250. 
     
251.   if (iq_file_dir) {
     
252. #ifdef RKAIQ
     
253.     SAMPLE_COMM_ISP_Stop(s32CamId);
     
254. #endif
     
255.   }
     
256.   return 0;
     
257. }
     

复制代码

测试方法

1. ./rkmedia_vi_vo_test -a /etc/iqfiles/

复制代码

最终，屏幕上可以显示USB摄像头采集的图像。

关于rkmedia的使用，可以去看SDK中的rkmedia的例子，API说明可以看RK提供的《Rockchip_Developer_Guide_Linux_RKMedia_CN.pdf》，视频教程可以看《【正点原子】AI人工智能深度学习(RV1126/RK3568/RK3588)-第2期 提高篇》

nuid

大佬问一下如何读取网络摄像头+rkmedia实现模型检测

Frank3908

感谢分享，参考实现可以预览USB摄像头画面。

jyarmy

感谢分享