毕业设计|语音识别智能家居制作

智能家居类项目在毕业设计中最为常见,虽然已经到了“烂大街”的程度,但摆正心态,可以加入很多创新点,依然能学到更多知识。

毕业设计|语音识别智能家居制作

本次分享的项目是Cheng小白毕设,代码和论文都分享出来了,希望可以给正在做毕设的同学一些帮助。项目相关设计资料可以在“达尔闻说”回复:STM32语音识别智能家居,获取。以下是硬件、软件部分内容:

系统功能

本语音控制的智能家居系统可以实现本地在线语音识别,控制家电;通过手机语音远程控制家电;手机可以远程实时获取家内传感器的数据。

毕业设计|语音识别智能家居制作

1)单片机实现音频信息的采集,播放内置音频信息,获取温湿度传感器数据和光照度传感器数据,通过显示屏显示传感器数据和语音转文字后的信息。

2)网络传输模块实现网络传输,与MQTT Server和语音识别API分别建立TCP连接,通过发布和订阅MQTT的Topic主题进行数据的上传与下行。

3)单片机将采集的音频信息进行base64编码,将编码后的音频数据和TOKEN以及一些必要参数整合成JSON格式整合到HTTP BODY中,单片机通过带流控位的串口与网络传输模块进行数据传输。

4)网络传输模块将接收到串口数据通过TCP通信同步上传到百度语音识别API,传输结束后,等待TCP Server返回HTTP 响应报文,将报文BODY字段数据进行裁剪,只要其中JSON格式的语音识别信息(UTF-8编码),将语音识别信息发送到单片机,单片机通过UTF-8转GBK算法进行最终的语义控制, 并进行对应语音播报。

5)手机APP端利用语音识别API接口进行语音识别,与MQTT Server端建立TCP连接,通过MQTT协议订阅和发布,将转换后语音信息发布到订阅设备,单片机处理收到的订阅信息。

6)单片机将采集到的传感器数据发布到MQTT Server端,APP端可以通过订阅来实时更新传感器数据。

硬件组成

系统硬件主要由九部分组成,分别是单片机、网络传输模块、立体声编解码模块、IO扩展模块、温湿度传感器、光照度传感器与液晶显示屏、按键及LED灯组组成,系统的总体框图如图:

毕业设计|语音识别智能家居制作

单片机选用了ST公司的STM32F407VET6芯片,通过内部的USART接口与ESP8266 NodeMCU通信,通过丰富的外设功能获取传感器的各项数据;

毕业设计|语音识别智能家居制作

网络传输模块采用乐鑫科技的ESP8266单片机通过STA模式连路由器链入到Internet,连接百度语音识别API接口进行语音识别,通过MQTT协议连接百度天工物接入平台发送传感器数据;手机端APP通过访问MQTT Server实时更新内部显示传感器数据;

毕业设计|语音识别智能家居制作

立体声编解码模块采用深圳普中科技有限公司的WM8978模块自带MIC头可以直接采集音频信息;

毕业设计|语音识别智能家居制作

IO扩展模块采用PCF8574,可以通过I2C引脚最多控制8个PCF8574模块也就是说可以控制64个IO口;

温湿度传感器采用DHT22进行温湿度数据的采集,采集的温度精度为±0.5℃,湿度精度为±2%RH;光照度传感器采用BH1750FVI可以获取0~65535单位为lx光照值数据。

系统软件

系统的软件框图:

毕业设计|语音识别智能家居制作

单片机将传感器数据和语音识别包通过带硬件流控的USART串口与网络传输模块进行数据的交互;网络传输模块通过Wi-Fi的STA模式连接到路由器,通过向语音识别API发送HTTP数据包获取语音转文字数据报,通过向MQTT Server发送订阅与发布消息,进行传感器数据的上传与手机控制命令的下传;手机APP通过与MQTT Server 订阅和发布消息,获取传感器数据后实时显示,通过手机APP语音识别,识别成功后将识别内容发布到MQTT Server,等待MQTT Server转发消息给订阅的设备。

单片机的程序设计、云端设备参数设置、wifi传输模块软件设计、手机APP程序设计在分享的论文与代码中,可以查看到更多详细的介绍。

需要改进的地方

1)上面项目的控制语音识别开始和结束,都是通过按键进行控制的,缺少了唤醒词的功能,希望之后可以通过采用DTW(Dynamic Time Warping,动态时间归整)算法,进行唤醒词识别。

2)目前只能对获取的语音进行简单的操控,无法进行语音的合成,只能依靠SD卡内存放的音频文件,之后可以将百度语音合成技术也加入到系统中,并将内部命令改成数据库命令,通过海量的知识丰富当前的语音操控。

3)系统只有一个终端设备,之后可以增加节点设备,从而实现一主机控制多从设备。

【学习交流群:197416462】