# 前言 本文将介绍一个实时指令唤醒的程序,可以添加任意的指令,实时录音一旦检测到指令语音,激活程序。同时还支持指令微调、提高指令的准确率。
安装项目环境
本项目开发换为: - Anaconda 3 - Windows 11 - Python 3.11 - Pytorch 2.1.0 - CUDA 12.1
- 安装Pytorch,执行下面命令,如果已经安装了其他版本,若能正常运行,请跳过。
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
- 安装其他依赖包,执行下面命令,安装完成之后,如果还缺失其他库,请对应安装。
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
指令唤醒
infer_pytorch.py
可以使用GPU进行推理,如果要使用CPU推理,可以infer_onnx.py
,这个使用的是ONNX,在CPU可以有加速。
- 可以调整的参数有:
sec_time
为录制时间,单位秒;last_len
为上一部分的数据长度,单位秒;。 - 增加指令,需要在
instruct.txt
添加指令。
输出日志:
支持指令:['向上', '向下', '向左', '向右', '停止', '开火']
请发出指令...
触发指令:【开火】
触发指令:【停止】
微调指令模型
微调指令模型的代码在finetune
目录下,微调前切换到finetune
目录,具体的训练过程看下面操作。
制作数据
运行record_data.py
代码,启动录音程序,默认录制2秒钟,建议录制完成之后,再录制1秒钟的音频,注意录制1秒钟时间非常短,按下回车之后要立马开始说话。其实自定义数据可以参考生成的dataset
目录。
输出日志:
请输入指令内容:向上
请输入录入次数:10
第1次录音,按回车开始说话:
开始录音......
录音已结束!
第2次录音,按回车开始说话:
生成训练数据列表
运行generate_data_list.py
代码,生成训练数据列表。
训练模型
执行下面命令训练模型,如果是Windows,需要把参数并接为一行,并删除\
。
funasr-train \
++model=../models/paraformer-zh \
++train_data_set_list=dataset/train.jsonl \
++valid_data_set_list=dataset/validation.jsonl \
++dataset_conf.batch_type="token" \
++dataset_conf.batch_size=10000 \
++train_conf.max_epoch=5 \
++train_conf.log_interval=1
++train_conf.keep_nbest_models=5 \
++train_conf.avg_nbest_model=3 \
++output_dir="./outputs"
合并模型
运行merge_model.py
代码,将训练好的模型合并成一个模型../models/paraformer-zh-finetune
。