中文 EN

4.3.29.2. 语音休眠唤醒示例

示例功能概述

A core侧的示例，通过tinyalsa录音，使用HIFI5中间件定义的不同device节点，获取DSP侧处理的音频。 共有四个pipeline，满足原始音频、降噪后3通道唤醒音频、降噪后单通道asr音频的使用需求。

搭配A core智能语音唤醒算法，能够实现低功耗唤醒二次校验、正常功耗降噪唤醒、asr音频vad裁剪等功能。

示例源码结构

sample_wakeup目录结构如下所示：

.
├── CMakeLists.txt                      # 编译所需cmake文件
├── hobot_speech_x5_sdk                 # 算法目录
│   ├── example                         # 算法示例
│   ├── hrsc                            # 配置文件
│   ├── include                         # 算法头文件
│   │   └── horizonspeechsdk
│   │       └── hrsc_sdk.h
│   ├── lib                             # 算法库文件
│   │   ├── libhisf.so
│   │   ├── libhisfvad.so
│   │   └── libhrsc.so
│   └── ReadMe.txt
├── i2c_control.sh                      # 音频版配置脚本
├── include                             # 示例头文件
│   ├── HrscAudioRecorder.h
│   └── HrscDemo.h
├── README.md
├── src                                 # 示例源文件
│   ├── hobot_speech_device_test.cpp    # 音频device测试
│   ├── HrscAudioRecorder.cpp           # tinyalsa封装实现
│   ├── HrscDemo.cc                     # 通用函数和回调函数实现
│   ├── hrsc_sdk_demo_files.cc          # 文件测试实现
│   ├── hrsc_sdk_demo_lp_to_normal.cc   # 进入低功耗，语音唤醒并进入正常功耗唤醒实现
│   ├── hrsc_sdk_demo_pipeline0.cc      # 原生音频送入A core，在A core处理降噪和唤醒实现
│   ├── hrsc_sdk_demo_pipeline1.cc      # 低功耗asr音频获取实现（废弃）
│   ├── hrsc_sdk_demo_pipeline2.cc      # 低功耗唤醒词音频获取实现，唤醒后可获取asr音频
│   └── hrsc_sdk_demo_pipeline4.cc      # 正常功耗下，DSP进行降噪前处理，A core进行唤醒实现
├── x5audio_init.sh                     # 环境搭建脚本
└── xbuild.sh                           # 编译脚本

编译依赖

首先要编译SDK的bsp源码，选择相应开发板的版本。详情见环境搭建及编译说明，并刷机。

其次编译adsp的firmware，详情见快速开始。

之后在/adsp/sample_wakeup目录下运行

./xbuild.sh

即可在当面目录下打包out目录，结构如下：

.
├── adsp                                            # firmware
├── hrsc                                            # 算法配置文件目录
│   ├── asr_vad
│   │   ├── DGRU_ECNR.meanvar
│   │   ├── DGRU_ECNR.params
│   │   └── hisf_config.ini
│   ├── CRGRU_SUBBAND_HIOK_reset_hx_-1.meanvar
│   ├── CRGRU_SUBBAND_HIOK_reset_hx_-1.params
│   ├── hesr_conf.txt
│   ├── hisf_config_encrypt.ini
│   ├── hrsc_config.cfg                             # Log打印及保存、音频保存等
│   ├── libmono.so
│   ├── meanvar_prior
│   ├── mxfeats_v36_okyiko.pack
│   ├── phone_strs
│   ├── tree-out2
│   └── wakeup_graph.bin
├── hobot_speech_device_test                        # 音频device测试可执行文件
├── hrsc_sdk_demo_files                             # 音频文件离线测试可执行文件
├── hrsc_sdk_demo_lp_to_normal                      # 低功耗->正常功耗全通路测试可执行文件
├── hrsc_sdk_demo_pipeline0                         # pipeline0语音唤醒测试可执行文件
├── hrsc_sdk_demo_pipeline1                         # pipeline1语音唤醒测试可执行文件
├── hrsc_sdk_demo_pipeline2                         # pipeline2语音唤醒测试可执行文件
├── hrsc_sdk_demo_pipeline4                         # pipeline4语音唤醒测试可执行文件
├── i2c_control.sh                                  # 音频版配置脚本
├── lib                                             # 算法库
│   ├── libhisf.so
│   ├── libhisfvad.so
│   └── libhrsc.so
└── x5audio_init.sh                                 # 环境配置脚本

语音唤醒步骤

环境配置

见HIFI5用户指南中环境部署章节

可以通过asound命令录音，即表示环境正确。

测试命令

-i：音频文件测试时，音频文件地址。

-ch：音频文件测试时，测试音频通道数的设置。当测试4通道原始音频时，ch需要设置为4。

-switch：音频保存开关，1为开，0为关。

-o：输出路径，包括switch置为1后输出的经过vad裁剪后的asr音频、唤醒词音频等。示例给出在可执行文件上级目录的log文件夹中。

-cfg：配置文件路径。

注意：测试demo无设定运行时长，需要手动Ctrl+C结束运行

# device 0测试。可选0、1、2、4，对应四个pipeline
chmod 777 hobot_speech_device_test
export LD_LIBRARY_PATH=./lib
./hobot_speech_device_test  0

chmod 777 hrsc_sdk_demo_files
export LD_LIBRARY_PATH=./lib
./hrsc_sdk_demo_files  -i ./audio.pcm  -o ../log -cfg ./hrsc -ch 2 -switch 1

chmod 777 hrsc_sdk_demo_pipeline0
export LD_LIBRARY_PATH=./lib
./hrsc_sdk_demo_pipeline0  -o ../log -cfg ./hrsc  -switch 1

chmod 777 hrsc_sdk_demo_pipeline1
export LD_LIBRARY_PATH=./lib
./hrsc_sdk_demo_pipeline1  -o ../log -cfg ./hrsc  -switch 1

chmod 777 hrsc_sdk_demo_pipeline2
export LD_LIBRARY_PATH=./lib
./hrsc_sdk_demo_pipeline2  -o /mnt/log -cfg ./hrsc  -switch 1

chmod 777 hrsc_sdk_demo_pipeline4
export LD_LIBRARY_PATH=./lib
./hrsc_sdk_demo_pipeline4  -o ../log -cfg ./hrsc  -switch 1

chmod 777 hrsc_sdk_demo_lp_to_normal
export LD_LIBRARY_PATH=./lib
./hrsc_sdk_demo_lp_to_normal  -o ../log -cfg ./hrsc  -switch 1

hobot_speech_device_test为音频device测试程序，将指定的device音频进行录音，并保存到同级目录。录音测试使用。

hrsc_sdk_demo_files为离线音频测试程序，将指定的音频作为输入源，对算法准确性进行验证。

hrsc_sdk_demo_pipeline0为纯A core算法验证程序，从i2s获取原始3+1音频到A core，在A core进行降噪前处理和语音唤醒算法。

hrsc_sdk_demo_pipeline1为dsp端低功耗算法输出的单通道asr音频测试程序。将此音频录音到A core后，进行vad裁剪。

hrsc_sdk_demo_pipeline2为dsp端低功耗算法输出的双通道enhance唤醒词音频，音频的前2秒中包含低功耗唤醒的唤醒词音频。用以二级唤醒校验。

hrsc_sdk_demo_pipeline4为dsp端正常功耗算法输出的四通道音频测试程序，前三通道为enhance唤醒词音频，用以3麦语音识别算法，第四通道为asr音频，给vad进行裁剪，保存到本地。

hrsc_sdk_demo_lp_to_normal为正常业务通路测试。A core进入litesleep状态，进行在dsp侧进行一级唤醒。唤醒后的唤醒词音频通过pipeline2传给A core做二级校验。校验成功后获取单通道ASR音频进行vad裁剪，并保存到本地（业务上，可能为送到云端或端侧ASR引擎进行语音识别）。当前ASR音频是复用pipeline2第二通道，以节省带宽和存储空间。

算法调试说明

在sample_wakeup/hobot_speech_x5_sdk/hrsc/hrsc_config.cfg文件中，修改如下参数可进行log保存和音频保存。 以下为一个示例，保存log和音频文件，到可执行目录上层目录同级的log目录下：

[HRSC_CONFIG]
# HRSC SDK CONFIG FILE
[LOG]
LOG_LEVEL=2                                     # log等级，1：debug，2：info，3：warning，4：error，一般建议3
SAVE_LOG_PATH="/mnt/log/log.txt"                # log保存路径，绝对路径
SAVE_LOG_FLAG=1                                 # log保存开关，1为开，0为关
[DATA]
# save data mode, 0 is new mode, 1 is previous mode
SAVE_DATA_MODE=0                                # 音频保存模式，无需修改
# switch flag 1
SAVE_DATA_FLAG1="./hobot_speech_device_test"    # 任意存在的文件的路径，例如可执行文件的路径，包含文件名
# file name 1
SAVE_DATA_PATH1="../log"                        # 音频保存路径，绝对路径或者可执行文件的相对路径
# switch flag 2
SAVE_DATA_FLAG2=""
# file name 2
SAVE_DATA_PATH2=""
# valid if only SAVE_DATA_MODE is 1
SAVE_AUDIO_FLAG=""
# valid if only SAVE_DATA_MODE is 1
SAVE_AUDIO_PATH=""
# limit file size, support G,M,K, default K
PER_FILE_LIMIT_SIZE=0K
[ASR]
SAVE_ASR_FLAG=""
SAVE_ASR_PATH=""
[CPU]
CPU_THRESHOLD_FREQ="1008000"
[TCP TEST]
TCP_TEST_FLAG=0
TEST_IP=""
TEST_PORT=""
[WAKERESULT]
SAVE_WAKE_RESULT_FLAG=0
SAVE_WAKE_RESULT_PATH=""
[THREAD_ID]
THREAD_ID_FILE=""
[AUTH]
ACTIVATE_DEVICE_SN=""
AUTH_PATH="/data/"
AUTH_CHECK_TIME=5
[VERSION]
VERSION="x5-0.0.5"                     # 算法版本号

运行结果展示

测试pipeline4,且log_level为3结果如图所示：

log及音频保存如图所示：

wkp_x.pcm和asr_x.pcm分别为单通道唤醒词音频和裁剪后的ASR音频，x数字代表第几次唤醒。

hrsc_asr.pcm是保存的单通道asr音频。

hrsc_enhance.pcm是三通道降噪后音频，用以语音唤醒。

hrsc_raw.pcm是四通道音频，根据输入的音频不同，内容会有所差异，为送入算法的所有音频的集合，不满四通道的音频会补充到四通道。例如，送入单通道ASR音频，则raw文件的第一通道是送入的单通道音频数据，后三通道补0。

hrsc_vad.vadvad标识，0和1，算法效果调试使用。

log_xxx.txtlog.txt为log保存配置设置的文件名，xxx为系统时间戳。

process.pcm音频为处理音频，即送入算法处理的源音频。