STM32光流

Kevincoooool

之前一直是用的PIXFLOW和匿名的光流 所以一直想自己做一个理解一下其中的过程
匿名的只是为了赚钱 所以不开源  只有看pixflow的源码了
其中截取了一部分复制到了自己的工程里

• ///////////////////////////////////////////////////////
• //函数功能：检测某点是否是特征点
• ///////////////////////////////////////////////////////
• static inline uint32_t compute_diff(uint8_t *image, uint16_t offX, uint16_t offY, uint16_t row_size)
• {
•         uint16_t off = (offY + 2) * row_size + (offX + 2); // we calc only the 4x4 pattern
•         uint32_t acc;
•         //4*4像素向下求差，再累加
•         acc = __USAD8 (*((uint32_t*) &image[off + 0 + 0 * row_size]), *((uint32_t*) &image[off + 0 + 1 * row_size]));
•         acc = __USADA8(*((uint32_t*) &image[off + 0 + 1 * row_size]), *((uint32_t*) &image[off + 0 + 2 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image[off + 0 + 2 * row_size]), *((uint32_t*) &image[off + 0 + 3 * row_size]), acc);
•         //4*4像素向右求差，再累加
•         uint32_t col1 = (image[off + 0 + 0 * row_size] << 24) | image[off + 0 + 1 * row_size] << 16 | image[off + 0 + 2 * row_size] << 8 | image[off + 0 + 3 * row_size];
•         uint32_t col2 = (image[off + 1 + 0 * row_size] << 24) | image[off + 1 + 1 * row_size] << 16 | image[off + 1 + 2 * row_size] << 8 | image[off + 1 + 3 * row_size];
•         uint32_t col3 = (image[off + 2 + 0 * row_size] << 24) | image[off + 2 + 1 * row_size] << 16 | image[off + 2 + 2 * row_size] << 8 | image[off + 2 + 3 * row_size];
•         uint32_t col4 = (image[off + 3 + 0 * row_size] << 24) | image[off + 3 + 1 * row_size] << 16 | image[off + 3 + 2 * row_size] << 8 | image[off + 3 + 3 * row_size];
•         //全部累加
•         acc = __USADA8(col1, col2, acc);
•         acc = __USADA8(col2, col3, acc);
•         acc = __USADA8(col3, col4, acc);
•         return acc;
• }
  

[color=rgb(51, 102, 153) !important]复制代码

• ///////////////////////////////////////////////////////
• //函数功能：比较两副8X8像素图片的相似度
• ///////////////////////////////////////////////////////
• static inline uint32_t compute_sad_8x8(uint8_t *image1, uint8_t *image2, uint16_t off1X, uint16_t off1Y, uint16_t off2X, uint16_t off2Y, uint16_t row_size)
• {
•         uint16_t off1 = off1Y * row_size + off1X; // image1
•         uint16_t off2 = off2Y * row_size + off2X; // image2
•         //两副8*8像素对应相减，再累加
•         uint32_t acc;
•         //第一行相减，再累加
•         acc = __USAD8 (*((uint32_t*) &image1[off1 + 0 + 0 * row_size]), *((uint32_t*) &image2[off2 + 0 + 0 * row_size]));
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 0 * row_size]), *((uint32_t*) &image2[off2 + 4 + 0 * row_size]), acc);
•         //第二行相减，再累加，依次类推
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 1 * row_size]), *((uint32_t*) &image2[off2 + 0 + 1 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 1 * row_size]), *((uint32_t*) &image2[off2 + 4 + 1 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 2 * row_size]), *((uint32_t*) &image2[off2 + 0 + 2 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 2 * row_size]), *((uint32_t*) &image2[off2 + 4 + 2 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 3 * row_size]), *((uint32_t*) &image2[off2 + 0 + 3 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 3 * row_size]), *((uint32_t*) &image2[off2 + 4 + 3 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 4 * row_size]), *((uint32_t*) &image2[off2 + 0 + 4 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 4 * row_size]), *((uint32_t*) &image2[off2 + 4 + 4 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 5 * row_size]), *((uint32_t*) &image2[off2 + 0 + 5 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 5 * row_size]), *((uint32_t*) &image2[off2 + 4 + 5 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 6 * row_size]), *((uint32_t*) &image2[off2 + 0 + 6 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 6 * row_size]), *((uint32_t*) &image2[off2 + 4 + 6 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 0 + 7 * row_size]), *((uint32_t*) &image2[off2 + 0 + 7 * row_size]), acc);
•         acc = __USADA8(*((uint32_t*) &image1[off1 + 4 + 7 * row_size]), *((uint32_t*) &image2[off2 + 4 + 7 * row_size]), acc);
•         return acc;
• }
  

[color=rgb(51, 102, 153) !important]复制代码


然后每隔4个像素来找特征点

•                         //上下左右循环移动4个像素对比图片相似度
•                         for(int8_t yy=winmin; yy<=winmax; yy++)
•                         {
•                                 for(int8_t xx=winmin; xx<=winmax; xx++)
•                                 {
•                                         //计算匹配度
•                                         temp_match = compute_sad_8x8(image_new, image_old, x, y, x + xx, y + yy, wid);
•                                         //寻找最小值，越小越相似
•                                         if (temp_match < match_min)
•                                         {
•                                                 sumx = xx;
•                                                 sumy = yy;
•                                                 match_min = temp_match;
•                                         }
•                                 }
•                         }
  

[color=rgb(51, 102, 153) !important]复制代码


最后实际的效果还不错 就是激光模块给手焊坏了

Kevincoooool

哇  没人

civic7366

我前陣子也看完PX4FLOW代碼....你說效果不錯是如何驗證的?

Kevincoooool

civic7366 发表于 2018-2-23 17:30
我前陣子也看完PX4FLOW代碼....你說效果不錯是如何驗證的?

安装在了小四轴上 定点的效果不错的  而且光流的波形和匿名光流的波形对比了 差不多的

炫色康康

也在看飞控，还得多学习

Kevincoooool

炫色康康 发表于 2018-2-24 08:52
也在看飞控，还得多学习

可以

civic7366

樓主~~~~請問你用的影像感測器是哪一款?

Kevincoooool

civic7366 发表于 2018-2-26 11:33
樓主~~~~請問你用的影像感測器是哪一款?

OV7740  你的PIXflow有MDK的代码？

civic7366

有..在掏寶買的但是透過JTAG燒寫之後PX4FLOW就掛了
仿真看它PC指針會跑到很奇怪的地方 嘗試刪掉一些可能跑飛的函數
發現連for迴圈都能跑飛...每次跑飛得地方都可以不一樣
不知到啥問題...無解...

civic7366

我原本想說自己修復它(自己從頭外設初始化), 結果用了原子的工程模板燒下去把它燒壞了...
應該是PX4FLOW外部晶振不是8M的, 好像是12M還是16M...
套用原本的PLL倍頻係數下去的sysclk直接把F407玩壞了...
其實我不會寫UVC...搞到最後看不到影像也是問題
更不想去看那個mavlink協議...

我有把程式碼移植到PC 隨便拿一個PCAM裝置實驗過效果了
感覺誤差還是挺大...用2把直尺固定住板子照牆壁作平移測試

01shuif2aw

学习学习 ，谢谢楼主

octssss

没事也想自己做一个玩，但是遇到点摄像头格式转换的问题，能请教一下，摄像头什么格式输出吗