终于实现USB Microphone录音功能

lvehe · 发表于 2016-5-25 11:33:57

本帖最后由 lvehe 于 2016-6-7 15:47 编辑

目前仅实现单一的USB Microphone录音功能，没有Speaker的功能。二者结合实现起来感觉比较困难，毕竟对USB学习还不太深入。
板子上使用的是一颗带IIS数字输出的MEMS麦克风，要移植到其他咪头和CODEC芯片（比如WM8978)组合的板子也是很容易的，因为都是IIS数字输出接口。
源码主要参考https://github.com/iliasam/STM32F4_USB_MICROPHONE
QQ截图20160525103932.png

2016-5-31更新：
添加FeatureUnit，实现静音和音量调节功能。
已知问题：Win7和XP下的音量设置数据不一样，目前程序以Win7为依据。
QQ截图20160531135334.png

2016-6-7更新：
修改音量调节为0dB~20dB，步进值为4dB。使Win7和XP下的音量设置数据保持一致。
添加多频选择功能，可选4种常用频率。
QQ截图20160607152619.png

至此，USB Microphone功能基本完备，此帖完结，不再更新。

xuande · 发表于 2016-5-25 11:48:50

不错。

想知道：
几声道？
采样率多少？
输出格式？

lvehe · 发表于 2016-5-25 13:04:29

xuande 发表于 2016-5-25 11:48
不错。

想知道：

单声道，毕竟只有一个麦克风，PCM格式，采样率其实可以自己根据需要设置，这里固定为48kHz

xuande · 发表于 2016-5-25 14:06:07

有个人对这感兴趣，
或许会有合作机会。

@czdspeed

正点原子 · 发表于 2016-5-25 15:31:53

不错啊。。。。cool

czdspeed · 发表于 2016-5-26 09:28:31

xuande 发表于 2016-5-25 14:06
有个人对这感兴趣，
或许会有合作机会。

说的正是，现在把我项目的前置那些工作都做好了。usb一直放着没怎么调。今天来看看楼主这个程序。有不懂的地方多多指教。另外谢谢@xuande

czdspeed · 发表于 2016-5-26 17:08:14

具体的修改细节我没有看的很仔细，因为我的项目接的不是codec芯片而是DSP。所以我这里有一个testbuf，里面是1KHz的正弦信号。

直接丢到这个buff里面就可以了吧
static uint8_t  usbd_audio_DataIn (void *pdev, uint8_t epnum)
{
  //if (epnum == AUDIO_IN_EP)
  {
uint32_t i;
int16_t *buff = (int16_t *)IsocInBuff;
for (i = 0; i < AUDIO_IN_PACKET/2; i++)
{
buff = I2S_Buffer[i*4];
}
DCD_EP_Flush(pdev, AUDIO_IN_EP);//very important!!!
DCD_EP_Tx(pdev, AUDIO_IN_EP, IsocInBuff, AUDIO_IN_PACKET);
  }
  return USBD_OK;
}

czdspeed · 发表于 2016-5-26 17:58:48

我刚才调试了一下，因为我把iis先屏蔽了想直接看看能不能把数据送上来。这个usbd_audio_DataIn写的是1ms进去一次，这个是在什么地方设置的？
请多多指教。

czdspeed · 发表于 2016-5-26 20:39:13

楼主，不还意思还要在你这里留言了。我有几个问题要打搅你。
第一，你这一段代码是在f4哪个型号上实现的是407还是429。
第二，我之前改写过这个流程，只是在pc识别完了是录音设备后就卡住了，我也注册了dataIn的函数。但是不太明白数据流是怎么样通过dataIn送到PC的。所以当时做了一个实验，直接定时中断里面用DCD_EP_Tx 发送数据，结果DFIFO里的数据不动，然后代码不停的进入“IN 未完成中断”，“TXFIFO为空”等断点。当时就没有调试下去而是去改其他的内容了。

上面是我主要疑惑，请楼主指点一下。

lvehe · 发表于 2016-5-26 21:39:26

407的，在USB FS模式，配置描述符里面定义的数据传输模式为isochronous等时模式，就是1ms发送或接收一次数据。对于48kHz，16bits的麦克风数据，1ms发送48000*2/1000=96Bytes数据。PC会主动请求发送数据，收到请求后先由sof函数发起传输，然后usbd_audio_DataIn里面取24bits的IIS数据的高16位数据发送出去。

czdspeed · 发表于 2016-5-27 10:11:30

lvehe 发表于 2016-5-26 21:39
407的，在USB FS模式，配置描述符里面定义的数据传输模式为isochronous等时模式，就是1ms发送或接收一次数 ...

楼主谢谢你的描述。我的理解：这样的话，PC发送数据请求，其实dataIn里面的buf用固定的数据上传也是没有大的问题的。只要注册成功了，usbd_audio_SOF就会接收到上位机的请求。

czdspeed · 发表于 2016-5-27 15:24:46

lvehe 发表于 2016-5-26 21:39
407的，在USB FS模式，配置描述符里面定义的数据传输模式为isochronous等时模式，就是1ms发送或接收一次数 ...

楼主，我用的模板试验了，把dma屏蔽之后只用了固定的数据去发送，上位机录音可以收到数据。下午把usb的部分代码转到我自己的开发模板上，上电后usb的标识符不识别了。我是完全拷贝你的usb的device和otg的核心代码的。我对比了一下也只有usbd_audio_core 和usbd_audio_out_if修改了。我之前的经验这个标识识别不了，只能是usbd_audio_CfgDesc[AUDIO_CONFIG_DESC_SIZE]这个地方有问题。这个在你的工程里面识别是没有大问题的。还有其他什么原因吗？

lvehe · 发表于 2016-5-27 17:02:52

czdspeed 发表于 2016-5-27 15:24
楼主，我用的模板试验了，把dma屏蔽之后只用了固定的数据去发送，上位机录音可以收到数据。下午把usb的部 ...

为了与speaker区分，我部分代码是写在usbd_audio_in_if.c里面的，但实际上和out_if没什么大的区分，基本上是注释了用不到的地方。在我的程序里，out_if这个文件基本没用。不清楚你改了哪些地方，可能需要你自己仔细对比一下了。反正描述符的确很难弄，我一直想加Feature Unit，一加上PC就无法识别。

czdspeed · 发表于 2016-5-27 17:55:40

lvehe 发表于 2016-5-27 17:02
为了与speaker区分，我部分代码是写在usbd_audio_in_if.c里面的，但实际上和out_if没什么大的区分，基本 ...

太感谢你了，感谢你的思路。我自己的工程初始化的东西比较多还加载了算法模块，调试的时候我还是一个一个加上去看看是哪里引起的。这么一堆东西一起调也很难找到问题所在。

czdspeed · 发表于 2016-5-30 09:13:27

lvehe 发表于 2016-5-27 17:02
为了与speaker区分，我部分代码是写在usbd_audio_in_if.c里面的，但实际上和out_if没什么大的区分，基本 ...

问题找到了，是printf打印出了问题。之前调试的时候也碰到过，因为没有用到过串口，我基本不用这个函数。另外想问确认一下是不是只能把串口初始化接出来了调用printf才可以。我用dsp的时候好像不初始化串口的话，printf直接把信息打印到控制台的。

lvehe · 发表于 2016-5-30 10:41:11

czdspeed 发表于 2016-5-30 09:13
问题找到了，是printf打印出了问题。之前调试的时候也碰到过，因为没有用到过串口，我基本不用这个函数。 ...

一般是把printf重定义向到串口的，所以如果不初始化串口的话，应该没法用printf吧

aisini · 发表于 2016-5-30 11:25:56

好东西，收藏起来...

czdspeed · 发表于 2016-5-30 11:49:47

lvehe 发表于 2016-5-30 10:41
一般是把printf重定义向到串口的，所以如果不初始化串口的话，应该没法用printf吧

对，应该是这样之前。dsp不做什么初始化，打印的东西可以直接打印到console上，就有点想当然了。dsp应该是仿真器的某些设置取代了串口。

Lone · 发表于 2016-5-31 17:14:47

指点迷津

adlu · 发表于 2016-5-31 17:58:08

强！果断收藏，慢慢研究。。。

czdspeed · 发表于 2016-6-2 11:32:26

lvehe 发表于 2016-5-30 10:41
一般是把printf重定义向到串口的，所以如果不初始化串口的话，应该没法用printf吧

楼主，可能还有问题要麻烦问一下。之前音频的数据通了以后用上位机抓了一下dsp处理的数据发现底噪很大，直接用耳朵听的话也发现了这个问题。我一开始以为是dsp的增益给的太大了，就把增益调小了，结果发现还是有很大的噪音，录得声音质量很不好，可以从图片里面看到底噪差不多是10%的幅度。我这个双通道16K采样的数据所以有32要传32个。楼主录音的时候有没有发现类似的问题。
if(DMA1_Stream3->CR&(1<<19))
{
for(i=0;i<32;i++)
buff = *((vs16 *)((i2srecbuf1) + 2*i)) ;
}else
{
for(i=0;i<32;i++)
buff = *((vs16 *)((i2srecbuf2) + 2*i)) ;
}

lvehe · 发表于 2016-6-2 12:55:37

czdspeed 发表于 2016-6-2 11:32
楼主，可能还有问题要麻烦问一下。之前音频的数据通了以后用上位机抓了一下dsp处理的数据发现底噪很大， ...

以下是我用XP自带的录音软件录的2段WAV，一个是比较纯粹的1kHz正弦波声音，一个是一段音乐。
用GoldWave查看的波形，没有发现底噪特别大的情况，用耳朵听的话感觉音质也还行。
不知道你的这段代码是放在哪的，是在DMA传输完成中断中？
USB Audio 一个比较常见的问题就是时钟同步问题，不确定你的现象是不是由此引起。
但如果数据处理加上发送时间较短的话，一般不会感觉到不同步。具体原因还得由你自己摸索。

czdspeed · 发表于 2016-6-2 14:32:24

lvehe 发表于 2016-6-2 12:55
以下是我用XP自带的录音软件录的2段WAV，一个是比较纯粹的1kHz正弦波声音，一个是一段音乐。
用GoldWave ...

发送数据还是usb_dataIn里面。dma中断也是循环接收，分别是两个buf在切换和大部分的流程是一样的。usb发送的时候用已经接收完的的数据。我这样想如果是切换的时候dma的数据正好改变了倒是有可能出现我之前测试的现象。
你说的不同步我倒是没有直观的感觉，因为做上面的实验我同时还在进行录音，两个声音的语速和长度我对比了一下差不多一致的。当然这个也是主观的感觉。

czdspeed · 发表于 2016-6-12 16:47:06

lvehe 发表于 2016-6-2 12:55
以下是我用XP自带的录音软件录的2段WAV，一个是比较纯粹的1kHz正弦波声音，一个是一段音乐。
用GoldWave ...

问题找到了，是连接线的问题。有时候不稳定，硬件的同事在找这个问题。现在想把放音和录音放到一起。之前一直写不成功，等有进展了我会在楼主的帖子里面更新。

czdspeed · 发表于 2016-6-22 16:06:09

czdspeed 发表于 2016-6-12 16:47
问题找到了，是连接线的问题。有时候不稳定，硬件的同事在找这个问题。现在想把放音和录音放到一起。之前 ...

lvehe楼主你好，请问一下你的实验后续有没有做进一步的测试。我这里前一段时间ST技术支持发了一个二合一的usb（microphone+recorder）的历程，用的是st407的demo板。

czdspeed · 发表于 2016-6-22 16:11:48

还有一个问题不知道楼主后期测试有没有发现，由于IIS的总线时钟和USB的总线时钟会有一点差别。经过一段时间录音肯定有声音发生混叠。

lvehe · 发表于 2016-6-23 08:39:04

czdspeed 发表于 2016-6-22 16:06
lvehe楼主你好，请问一下你的实验后续有没有做进一步的测试。我这里前一段时间ST技术支持发了一个二合一 ...

这么好的资料，居然是2012年的，居然现在才放出来。
我暂时没有做长时间的测试，所以没发现这种现象。不过，声音出现混叠是正常的，这个之前就说过。因为我的程序设计得比较简单。你完全可以按ST的这个例程来修改，应该基本可以消除这个现象。

czdspeed · 发表于 2016-6-23 09:10:02

lvehe 发表于 2016-6-23 08:39
这么好的资料，居然是2012年的，居然现在才放出来。
我暂时没有做长时间的测试，所以没发现这种现象。不 ...

我们这里联系原厂比较方便，以后有好的资料我会分享到这个帖子。大家一起学习提高。

Neverfade · 发表于 2016-6-23 10:29:34

刚做一个IIS USB结合的录音加播放一体的项目，请教一下@lvehe @czdspeed
1、如果使用F103大容量系列和F4系列在USB FS协议上有区别吗
2、如果不使用DMA进行数据传输会出现卡顿现象吗因为我看了UM0424文档上 ST上面的代码就是直接通过SPI IT来解决音频数据发送的

lvehe · 发表于 2016-6-23 10:38:35

Neverfade 发表于 2016-6-23 10:29
刚做一个IIS USB结合的录音加播放一体的项目，请教一下@lvehe @czdspeed
1、如果使用F103大容量系列和F4 ...

1. F1的不太懂，和F4应该有区别。
2. 音频数据量不是很大，使用SPI中断方式来传输应该也不会卡顿。纯属个人猜测，没试。

czdspeed · 发表于 2016-6-23 11:54:27

Neverfade 发表于 2016-6-23 10:29
刚做一个IIS USB结合的录音加播放一体的项目，请教一下@lvehe @czdspeed
1、如果使用F103大容量系列和F4 ...

F1的usb驱动和F4是不一样的，F4是OTG但是看了好多调用的方式不太一样代码不能通用。F1好像论坛有人做出来一个调频广播的例子，你可以搜一下。
第二个问题我个人感觉用spi应该问题不大，48K2通道的话，每ms也就192个字节这个速率spi应该完全应付的过来。

czdspeed · 发表于 2016-6-23 11:57:15

Neverfade 发表于 2016-6-23 10:29
刚做一个IIS USB结合的录音加播放一体的项目，请教一下@lvehe @czdspeed
1、如果使用F103大容量系列和F4 ...

附件是我找ST官方要的，录音放音一体的。不过我最近改算法没时间搞这个。你可以改到407的开发板上。倒时共享一下。不过这个是st提供的demo板，硬件初始化应该和探索者的不一样。

西点 · 发表于 2016-6-24 13:26:34

还没有弄过这么高科技的玩意

Neverfade · 发表于 2016-6-28 10:59:48

@czdspeed 楼主你在windows下使用这个usb mac 不需要装载驱动吗为什么我插入后显示是unknown device

czdspeed · 发表于 2016-6-28 15:49:59

Neverfade 发表于 2016-6-28 10:59
@czdspeed 楼主你在windows下使用这个usb mac 不需要装载驱动吗为什么我插入后显示是unknown device

你这个应该是描述符不太对吧，即插即用的usb设备，不需要我们去装驱动的。

Neverfade · 发表于 2016-6-29 23:19:14

czdspeed 发表于 2016-6-28 15:49
你这个应该是描述符不太对吧，即插即用的usb设备，不需要我们去装驱动的。

刚才找到问题用st Link 下载代码没有问题用jlink就会报错同样都是设置为sw模式只不过Jlink是10M下载 ST是1M 这是什么鬼。。。。

我乐意 · 发表于 2016-7-15 19:33:37

看起来很不错，谢楼主分享！

zhgule · 发表于 2016-7-18 14:43:49

太好了，功能强大

skyqiu · 发表于 2016-7-25 10:05:05

看起来很不错，谢楼主分享！

gmdjmawy · 发表于 2016-8-2 10:07:44

正要弄个录音的，谢谢分享

zcsbyr · 发表于 2016-11-9 16:19:41

你好楼主，请问能用cubeMX生成audio device吗，我生成的代码不能呗电脑识别成UAC设备

yangkefeng · 发表于 2016-11-10 14:47:23

楼主你好问一下USB在正常通信的时候有没有软件可以测试USB通信速率怎么测呢 BUS HOUND能测得出来吗

lvehe · 发表于 2016-11-11 09:30:06

zcsbyr 发表于 2016-11-9 16:19
你好楼主，请问能用cubeMX生成audio device吗，我生成的代码不能呗电脑识别成UAC设备

cubemx还没时间学，不知道咋用啊

lvehe · 发表于 2016-11-11 09:31:52

yangkefeng 发表于 2016-11-10 14:47
楼主你好问一下USB在正常通信的时候有没有软件可以测试USB通信速率怎么测呢 BUS HOUND能测得出来吗

bus hound估计测不出，以前做SD卡模拟U盘时，往虚拟U盘里写入/读取数据，通过电脑的对话框看写入/读取的速率。

yangkefeng · 发表于 2016-11-11 11:13:20

lvehe 发表于 2016-11-11 09:31
bus hound估计测不出，以前做SD卡模拟U盘时，往虚拟U盘里写入/读取数据，通过电脑的对话框看写入/读取的 ...

我想在探索者开发板上测试原子哥声卡实验通信速度播放128Kbps 和320Kbps 的歌感觉上 BUS HOUND 抓出来的包并看不出什么区别而且包数量也看不出区别老郁闷了

yangkefeng · 发表于 2016-11-11 11:15:42

lvehe 发表于 2016-11-11 09:31
bus hound估计测不出，以前做SD卡模拟U盘时，往虚拟U盘里写入/读取数据，通过电脑的对话框看写入/读取的 ...

我参考网上别人的东西在弄USB CDC通信全速通信根据单次通信包的大小区别速度在0.5MB/S-1MB/S区间段

aozima · 发表于 2016-11-17 10:09:43

带IIS数字输出的MEMS麦克风

请教一下型号

ly7817 · 发表于 2016-11-21 18:11:57

厉害

crush丢丢 · 发表于 2017-2-10 23:28:44

请教一下MEMS 麦克风型号

lvehe · 发表于 2017-2-13 08:50:43

crush丢丢发表于 2017-2-10 23:28
请教一下MEMS 麦克风型号

源码里面有，MSM261S4030H0

帐号		自动登录	找回密码
密码			立即注册

终于实现USB Microphone录音功能

原子哥极力推荐 /2