01语音算法系列 · 第 1 篇
贝叶斯语音识别准则
语音识别的顶层准则是给定声学特征下求后验概率最大的词序列,这一贝叶斯解码思想贯穿从声学建模到语言建模的整个链路。
Research
我们把做产品时沉淀的算法理解整理成系列文档,覆盖语音识别、语音合成、语音增强与语音大模型。 下面是汉氏技术「语音算法系列」的研究方向性文件,可直接在线查阅,也可下载 Word 原文档。
语音识别的顶层准则是给定声学特征下求后验概率最大的词序列,这一贝叶斯解码思想贯穿从声学建模到语言建模的整个链路。
CTC 引入空白符并对所有对齐路径求和,使模型无需帧级标注即可端到端训练,开启了现代端到端语音识别。
RNN-T 结合声学编码与文本自回归解码,天然支持边说边出字的流式识别,成为工业界流式 ASR 的主流范式。
Mel 滤波器组依据人耳非线性频率感知构造三角滤波器,将功率谱映射为判别力更强的声学特征,是 ASR 与 TTS 的通用前端。
VAD 通过能量与过零率联合阈值判断语音起止,是语音识别、增强、编码与对话式语音智能体的前置环节。
注意力机制让 TTS 解码器在生成每帧声学特征时动态关注文本的相关字符,实现软对齐,是神经语音合成的核心。
HiFi-GAN 以多判别器 GAN 结合特征匹配与 Mel 谱损失,兼顾快速推理与高保真波形重建,成为众多开源 TTS 的默认声码器。
AEC 用自适应滤波器估计并减去扬声器到麦克风的回声路径,LMS 及其变体是全双工语音交互得以实现的关键。
STFT 将时域波形变换到频域,谱减法据此从带噪幅度谱中减去平稳噪声估计,是语音增强的经典方法。
将连续语音离散为音频令牌,使语音可像文字一样被自回归语言模型建模,构成 GPT-4o Realtime 等语音大模型的统一范式。