OpenEdv-开源电子网

 找回密码
 立即注册
正点原子全套STM32/Linux/FPGA开发资料,上千讲STM32视频教程免费下载...
查看: 3895|回复: 19

我用AI视觉模组DIY了一个驾驶疲劳监测仪

[复制链接]

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
发表于 2019-8-16 15:23:43 | 显示全部楼层 |阅读模式
近年来,人工智能技术已经发展到了超出想象的地步,以前觉得手写识别、语音输入、人脸识别就是很神奇的东西了,现在出现了一种脸部关键点定位的技术,能把五官轮廓都给精确的定位出来。每只眼睛能通过9个坐标点,标出眼睑、瞳孔的位置,这简直太适合用来监测犯困了!

image002.jpg

image004.png image006.png

用人工智能进行分析,算法的计算量一般都很大,以前用树莓派3B跑过人脸检测,用OpenCVHaarCascades算法,要160多毫秒才能跑完一帧人脸检测。如果用效果更好的深度神经网络模型,比如通过ncnn加速框架跑MobileNet-SSD模型,则需要260多毫秒,再跑一个关键点定位模型估计还要几十毫秒,整体帧率就只有3fps了。

是时候请出一个神奇的模块了,他内置了一颗AI加速芯片,单周期可以运行512次乘加运算,硬件支持卷积、池化、全连接等操作,还带了两颗手机摄像头模组,直接能对拍到的图像跑AI算法进行分析,通过UART输出分析后的结果,非常有意思!

image008.png

目前VisionSeed模块提供的算法有:人脸检测、90点关键点定位、姿态角解算、人脸识别,还能够把自己训练的模型下载到模块上的AI芯片中运行。

我们先通过腾讯提供的PC端配置工具,看看模块上的AI算法输出的信息:

image010.gif


通过USB把VisionSeed连上电脑后,识别出来一个video0设备和ttyACM0设备,用配置工具打开ttyACM0,就能源源不断的获取到实时分析数据了,左下角马上显示出了我的脸部关键点,随着我眨眼、摇头、张嘴,这个虚拟的小人也跟着变化,数据可视化界面上,选择“左眼开闭”,曲线就开始滚动起来了,我每次眨眼,曲线就出现一个向下的尖峰,如果闭眼,曲线就稳定在0.05以下的位置,非常灵敏!
我们要把这个模组装到车上,当检测到闭眼的时候输出报警声。因为AI芯片上不能运行程序,所以需要一个单片机,这次我们用10块钱的STM32来运行报警的逻辑。
要怎么在STM32上获取到AI分析的结果呢?看了一下VisionSeed的文档,中间金黄色的FPC软排线里有UART接口,我们只需要把左边的那个接口板用个单片机替换掉,直接通过FPC座接到VisionSeed上,就能在STM32单片机上拿到结果了。

image011.png


我们选择STM32F103来运行报警逻辑,通过串口0连接VisionSeed,串口1用来控制MP3模块发出报警声,PC13连接一个状态指示灯,原理图还是很简单的:

image013.png


开始画板,右侧通过0.5mm间距的30pin连接器和VisionSeed相连;下方的Micro-USB接口供电,同时导出了VisionSeed的USB信号,可以方便调试;中间是STM32F103C8T6单片机;上方的4pin接口是ST-Link烧录口;左侧背面是一个3.5mm音频接口,用来向音箱输出报警声;正面还叠加了一个串口控制的MP3播放模块,布局是相当紧凑了。

image016.png

导出gerber文件到工厂做板,三天后板子到手:

image018.png

焊接元器件,推荐使用回流焊工艺,做PCB的时候加30元做一个钢网,就可以方便的手工印刷锡膏,把元器件放到焊盘上,送进烤箱,没错,家里烤面包的烤箱就可以!温度设定到250℃,看着锡膏完全融化后断电,一个个完美的焊点就出现了:

image020.jpg

再用电烙铁焊上MP3模块:

image022.jpg


最后要装到VisionSeed上。利用VisionSeed自带的散热片,结构稳固而紧凑。先拆掉左侧的接口板:

image024.jpg

换上我们做好的单片机:

image027.png

开始调试STM32程序。VisionSeed提供了开源的C++、Python、js的SDK,提供数据解析,直接就能得到人脸框、90个关键点的坐标。短短数十行代码,我们就完成了对双眼18个点的坐标分析,进而判断闭眼是不是超过了安全的时间:

image028.png


通过ST-Link把程序下载到单片机中,然后把模组装到方向盘后,接上5v供电和音箱,坐上驾驶座,闭上眼睛,当当当——警铃大作,开车再也不怕犯困啦!

image030.jpg



后记:
VisionSeed不仅仅是个集成了摄像头+AI芯片的模块,AI算法才是效果的保证,他内置了腾讯优图的算法,效果过硬,一直处于业界领先地位,以前一般在腾讯内部产品中应用,比如微信刷脸支付。现在通过VisionSeed人工智能视觉模块,开放给外界,你我也能接触到世界一流的腾讯人工智能算法,甚至能应用在自己的产品中,实在是非常开心。相信腾讯的开放,会惠及更多创业者和爱好者们。
另外,模块内还包括了人脸识别功能,通过附带工具软件管理数据库,能够实时离线识别库中的身份,非常强大,能做出很多有意思的东西,等你一起来探索!

image032.png






正点原子逻辑分析仪DL16劲爆上市
回复

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-9-26 14:33:08 | 显示全部楼层
zifeiyu0921 发表于 2019-9-26 10:20
楼主,我最近有可能要用到,方便加个QQ交流一下嘛?感谢

私信给我,我加你哟
回复 支持 1 反对 0

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-8-22 16:18:42 | 显示全部楼层
VisionSeed 1.1.0版本发布了,本次更新主要功能提供了1:N识别能力,还增加了数据可视化和人脸库管理功能,通过本工具,可以将您的VisionSeed升级到新版固件。地址: visionseed.youtu.qq.com
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-8-23 17:20:17 | 显示全部楼层
VisionSeed是一个融合AI算法+运算能力+摄像头为一体的硬件模组,开发者通过VisionSeed可轻松使用优图人脸检测、识别、配准、姿态、属性等算法能力,创造性完成创新产品的研发。VisionSeed通过USB或UART接口,以结构化形式输出       AI分析结果,用单片机就能玩转AI,开发AI应用触手可及。

VisionSeed具备1TFLOPS(每秒一万亿次)推理运算能力,功耗小于10瓦,提供可靠的FPC软排线接口,可置入各种嵌入式设备中。提供了完整的SDK、Demo工程、文档资源,以便使用VisionSeed进行产品开发,有兴趣可以看看:visionseed.youtu.qq.com。

下单顺序优先发货哦:item.szlcsc.com/385377.html


回复 支持 反对

使用道具 举报

1

主题

7

帖子

0

精华

初级会员

Rank: 2

积分
97
金钱
97
注册时间
2019-4-9
在线时间
30 小时
发表于 2019-8-25 17:05:55 | 显示全部楼层
高手,赞!
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-8-26 10:29:34 | 显示全部楼层

有项目需求可以看看,VisionSeed立创商城购买网站:item.szlcsc.com/385377
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-8-27 10:34:37 | 显示全部楼层
VisionSeed会加入自定义模型的能力,可以放自己训练的模型上来(但支持的模型结构可能是有限的)
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-8-28 18:10:09 | 显示全部楼层
VisionSeed参数信息: QQ截图20190828175519.png
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-8-30 18:21:07 | 显示全部楼层
QQ截图20190830181629.png
回复 支持 反对

使用道具 举报

8

主题

293

帖子

0

精华

金牌会员

Rank: 6Rank: 6

积分
1001
金钱
1001
注册时间
2018-8-16
在线时间
327 小时
发表于 2019-8-30 21:49:08 | 显示全部楼层
和买一个计算棒差不多的价格,看上去挺好玩的。
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-9-3 15:54:28 | 显示全部楼层
brucewoo 发表于 2019-8-30 21:49
和买一个计算棒差不多的价格,看上去挺好玩的。

有兴趣可以去官网看看: visionseed.youtu.qq.com
回复 支持 反对

使用道具 举报

10

主题

293

帖子

0

精华

高级会员

Rank: 4

积分
623
金钱
623
注册时间
2019-6-3
在线时间
107 小时
发表于 2019-9-4 15:50:22 | 显示全部楼层
看着同好玩的,有市场吗?
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-9-4 17:13:08 | 显示全部楼层
迅得电子 发表于 2019-9-4 15:50
看着同好玩的,有市场吗?

当然了,有兴趣可以去官网看看
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-9-9 14:18:08 | 显示全部楼层
QQ截图20190909140725.png
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-9-25 14:31:04 | 显示全部楼层
VisionSeed产品介绍.png
回复 支持 反对

使用道具 举报

12

主题

48

帖子

0

精华

新手上路

积分
29
金钱
29
注册时间
2019-7-16
在线时间
59 小时
发表于 2019-9-26 10:20:40 | 显示全部楼层
楼主,我最近有可能要用到,方便加个QQ交流一下嘛?感谢
回复 支持 反对

使用道具 举报

12

主题

48

帖子

0

精华

新手上路

积分
29
金钱
29
注册时间
2019-7-16
在线时间
59 小时
发表于 2019-9-26 19:56:00 | 显示全部楼层
azxyqcr 发表于 2019-9-26 14:33
私信给我,我加你哟

私信了,老哥
回复 支持 反对

使用道具 举报

2

主题

16

帖子

0

精华

新手上路

积分
44
金钱
44
注册时间
2019-8-16
在线时间
8 小时
 楼主| 发表于 2019-9-29 15:11:45 | 显示全部楼层

加你了,QQ查看一下
回复 支持 反对

使用道具 举报

1

主题

39

帖子

0

精华

中级会员

Rank: 3Rank: 3

积分
214
金钱
214
注册时间
2019-10-19
在线时间
16 小时
发表于 2019-10-19 15:50:24 | 显示全部楼层
您好,能加个好友吗?急需此类资料,谢谢!
回复 支持 反对

使用道具 举报

1

主题

39

帖子

0

精华

中级会员

Rank: 3Rank: 3

积分
214
金钱
214
注册时间
2019-10-19
在线时间
16 小时
发表于 2019-10-20 15:41:26 | 显示全部楼层

老哥,你好,由于我这里边等级低,加不了你,我有个问题需要向您求助,希望您看到后能加一下我,真的麻烦您了!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则



关闭

原子哥极力推荐上一条 /2 下一条

正点原子公众号

QQ|手机版|OpenEdv-开源电子网 ( 粤ICP备12000418号-1 )

GMT+8, 2025-6-5 12:12

Powered by OpenEdv-开源电子网

© 2001-2030 OpenEdv-开源电子网

快速回复 返回顶部 返回列表