登录nl8590687 / ASRT_SpeechRecognition
A Deep-Learning-Based Chinese Speech Recognition System 基于深度学习的中文语音识别系统
ASRT是一个基于深度学习的中文语音识别系统，如果您觉得喜欢，请点一个 "Star" 吧~
ReadMe Language | 中文版 | English |
ASRT项目主页 | 发布版下载 | 查看本项目的Wiki文档 | 实用效果体验Demo | 打赏作者
如果程序运行期间或使用中有什么问题，可以及时在issue中提出来，我将尽快做出答复。本项目作者交流QQ群：894112051
提问前请仔细查看项目文档、 常见问题以及Issues 避免重复提问
以下问题AI柠檬博主和群友可能会拒绝回答，包括但不限于： * 询问已经写在 ASRT语音识别项目文档 和 Issues 上解决过的已知重复问题。 * 找不到重点、不知所云的提问内容，但是不给出任何其他信息。 * 跟ASRT项目没有直接相关的问题 * “伸手党”类的问题
请注意，开发者并没有义务回复您的问题，也没用义务免费给你打工，您应该具备基本的提问技巧，并善用搜索引擎， 每个人的时间都是宝贵的。
有关AI柠檬ASRT语音项目的相关信息亦可使用AI柠檬站内搜索引擎进行相关信息的搜索。
ASRT的原理请查看本文： * ASRT：一个中文语音识别系统
ASRT训练和部署教程请看： * 教你如何使用ASRT训练中文语音识别模型* 教你如何使用ASRT部署中文语音识别API服务器
关于经常被问到的统计语言模型原理的问题，请看：
关于CTC的问题请看：
更多内容请访问作者的博客：AI柠檬博客
或使用AI柠檬站内搜索引擎进行相关信息的搜索
本项目使用Keras、TensorFlow基于深度卷积神经网络和长短时记忆神经网络、注意力机制以及CTC实现。
This project uses Keras, TensorFlow based on deep convolutional neural network and long-short memory neural network, attention mechanism and CTC to implement.
操作步骤
首先通过Git将本项目克隆到您的计算机上，然后下载本项目训练所需要的数据集，下载链接详见文档末尾部分。
$ git clone https://github.com/nl8590687/ASRT_SpeechRecognition.git
或者您也可以通过 "Fork" 按钮，将本项目Copy一份副本，然后通过您自己的SSH密钥克隆到本地。
通过git克隆仓库以后，进入项目根目录；并创建子目录 dataset/ (可使用软链接代替)，然后将下载好的数据集直接解压进去
注意，当前版本中，Thchs30和ST-CMDS两个数据集都必须下载使用，缺一不可，并且使用其他数据集需要修改代码。
$ cd ASRT_SpeechRecognition $ mkdir dataset $ tar zxf <数据集压缩文件名> -C dataset/
然后需要将datalist目录下的文件全部拷贝到 dataset/ 目录下，也就是将其跟数据集放在一起。
$ cp -rf datalist/* dataset/
目前可用的模型有24、25和251
运行本项目之前，请安装必要的Python3版依赖库
本项目开始训练请执行：
$ python3 train_mspeech.py
本项目开始测试请执行：
$ python3 test_mspeech.py
测试之前，请确保代码中填写的模型文件路径存在。
ASRT API服务器启动请执行：
$ python3 asrserver.py
请注意，开启API服务器之后，需要使用本ASRT项目对应的客户端软件来进行语音识别，详见Wiki文档ASRT客户端Demo。
如果要训练和使用模型251，请在代码中 import SpeechModel 的相应位置做修改。
CNN + LSTM/GRU + CTC
其中，输入的音频的最大时间长度为16秒，输出为对应的汉语拼音序列
关于下载已经训练好的模型的问题
可以在Github本仓库下releases里面的查看发布的各个版本软件的压缩包里获得包含已经训练好模型参数的完整源程序。
发布的成品软件可以在此下载：ASRT下载页面
基于概率图的最大熵隐马尔可夫模型
输入为汉语拼音序列，输出为对应的汉字文本
当前，最好的模型在测试集上基本能达到80%的汉语拼音正确率
不过由于目前国际和国内的部分团队能做到98%，所以正确率仍有待于进一步提高
Python的依赖库
python_speech_features
TensorFlow (1.13+)
Keras (2.3+)
Numpy
wave
matplotlib
math
Scipy
h5py
http
urllib
清华大学THCHS30中文语音数据集
data_thchs30.tgz OpenSLR国内镜像OpenSLR国外镜像
test-noise.tgz OpenSLR国内镜像OpenSLR国外镜像
resource.tgz OpenSLR国内镜像OpenSLR国外镜像
Free ST Chinese Mandarin Corpus
ST-CMDS-20170001_1-OS.tar.gz OpenSLR国内镜像OpenSLR国外镜像
AIShell-1 开源版数据集
data_aishell.tgzOpenSLR国内镜像OpenSLR国外镜像
注：数据集解压方法
$ tar xzf data_aishell.tgz
$ cd data_aishell/wav
$ for tar in *.tar.gz; do tar xvf $tar; done
Primewords Chinese Corpus Set 1
primewords_md_2018_set1.tar.gzOpenSLR国内镜像OpenSLR国外镜像
aidatatang_200zh
aidatatang_200zh.tgzOpenSLR国内镜像OpenSLR国外镜像
MagicData
train_set.tar.gzOpenSLR国内镜像OpenSLR国外镜像
dev_set.tar.gzOpenSLR国内镜像OpenSLR国外镜像
test_set.tar.gzOpenSLR国内镜像OpenSLR国外镜像
metadata.tar.gzOpenSLR国内镜像OpenSLR国外镜像
特别鸣谢！感谢前辈们的公开语音数据集
如果提供的数据集链接无法打开和下载，请点击该链接 OpenSLR
@zw76859420 @madeirak @ZJUGuoShuai @williamchenwl
@nl8590687 (repo owner)
代码语言分布