降噪并不总是简单地从音频信号中减去噪声频谱这么简单。.

在许多实际环境中，麦克风拾取的声音包含语音、背景噪声、音乐、机械声、通风声、键盘声以及其他声源的混合。当这些成分在时域和频域中发生重叠时，传统的滤波方法可能会变得不太有效。.

非负矩阵分解（NMF） 提供了一种另一种方法。.

NMF 并非将音频频谱视为一个需要进行滤波的信号，而是试图 将观测到的频谱图分解为少数几个有意义的频谱分量.

这使得NMF在以下方面很有用：

• 语音增强
• 音频源分离
• 背景噪声抑制
• 音乐分离
• 声学事件分析
• 环境噪声分类
• AI系统的音频预处理

本文解释了NMF的工作原理，以及它为何对……有用 音频降噪, ，与……相比如何 光谱减法 与 维纳滤波, ，以及工程师在实时音频系统中实现NMF时应考虑的因素。.

1. 音频处理中的NMF是什么？

非负矩阵分解（NMF） 是一种将非负矩阵分解为两个或多个较小的非负矩阵的数学技术。.

在音频处理中，输入矩阵通常由音频频谱图推导而来。.

一个简化的NMF模型如下：

V ≈ WH

其中：

• V = 观测到的非负谱图
• W = 谱基矩阵
• H = 激活矩阵
• WH = 重建的频谱图

用于音频降噪的NMF技术在各种应用中正变得越来越流行。.

一个重要的限制是：

W ≥ 0
H ≥ 0

与可能包含正值和负值的传统矩阵分解方法不同，NMF 仅使用非负值。.

这对音频分析特别有用，因为幅度谱和功率谱的数值本身就是非负的。.

从概念上讲：

音频信号
 ↓
STFT
 ↓
幅度/功率谱图
 ↓
NMF
 ↙   ↘
频域   时域
基矢量激活
 ↘   ↙
重建成分
 ↓
语音 / 噪声 / 其他来源

目标是找到原始谱图的一种紧凑表示。.

2. 为什么 NMF 适用于音频降噪，以及 NMF 在音频降噪中的应用

设想一个在办公室里录音的麦克风。.

麦克风可能会拾取以下声音：

• 人类语言
• 空调噪音
• 电脑风扇
• 键盘点击声
• 背景对话

这些信号在时间和频率上都存在重叠。.

一个简单的频率滤波器可能不够用。.

例如，语音能量可能占据与机械噪声大致相同的频率范围。如果将整个频率带宽去除，也会同时去除部分语音信号。.

NMF 采用了一种不同的解决方法。.

与其问：

应该去除哪些频率？

NMF 提问：

观测到的频谱图能否表示为几种潜在频谱模式的组合？

例如

观察到的音频
 =
语音模式
+
风扇模式
+
键盘模式
+
背景模式

如果系统能够学习或估计这些分量的特征频谱模式，它就能在抑制不需要的分量的同时，重建所需的信号源。.

这使得NMF在以下方面尤为引人关注： 源分离与结构化降噪.

3. 从音频信号到频谱图

通常在将音频信号转换为时频表示后，才会应用NMF。.

一个常见的处理流程是：

x(t)
 ↓
窗口化
 ↓
短时傅里叶变换（STFT）
 ↓
幅度谱图
 ↓
非负矩阵分解（NMF）
 ↓
源估计
 ↓
逆短时傅里叶变换（ISTFT）
 ↓
去噪音频

短时傅里叶变换将信号划分为多个短的、相互重叠的帧，并将每帧转换为频域信息。.

所得的频谱图可表示为：

V ∈ R^(F × T)

其中：

• F = 频段数
• T = 时间段的数量

的每个元素 V 在使用模值或功率谱时，该值是非负的。.

这使得频谱图适用于NMF。.

有关 STFT 及其在音频处理中的作用的更多信息，请参阅：

音频信号处理中的FFT与STFT：实用工程指南

4. 基本 NMF 模型

NMF的基本方程为：

V ≈ WH

假设：

V = F × T

然后：

W = F × K
H = K × T

其中 K 是分量或基向量的个数。.

例如

V
频率 × 时间

 ↓

W
频率 × 分量

 ×

H
分量 × 时间

的每一列 W 表示一种光谱模式。.

每一行 H 描述了该模式随时间推移被激活的强度。.

重建后的频谱图如下：

V̂ = WH

其中 V̂ 这是原始谱图的近似结果。.

5. 理解 W 矩阵和 H 矩阵

理解NMF最简单的方法是思考 W 与 H 作为两种不同类型的信息。.

W：谱基

W 描述 某个元件在频域中的声音表现如何.

例如

W₁ → 类似语音的频谱
W₂ → 风扇噪声频谱
W₃ → 键盘噪声频谱
W₄ → 背景音乐频谱

H：时间激活

H 描述 当每个组件处于活动状态时.

例如

H₁ → 0.5–2.0 秒内检测到语音活动
H₂ → 风扇持续运转
H₃ → 约 3.5 秒时检测到键盘活动

因此：

W = 什么
H = 什么时候

这是一种直观地理解该分解的方法。.

6. NMF 如何实现降噪

最重要的步骤是在因式分解后将各项分离出来。.

假设观测到的频谱图包含：

V ≈ W_s H_s + W_n H_n

其中：

• W_s H_s 代表期望的发言内容
• W_n H_n 表示噪声

目标变为：

语音 ≈ W_s H_s

同时减少：

噪声 ≈ W_n H_n

随后，可以利用逆STFT对去噪后的频谱图进行重建，并将其转换回时域。.

整个流程如下：

含噪声音频
    ↓
STFT
    ↓
频谱图 V
    ↓
NMF
    ↓
W + H
    ↓
识别语音/噪声成分
    ↓
构建语音频谱图
    ↓
逆STFT
    ↓
增强音频

7. 有监督与无监督的NMF

NMF 可用于音频分离的两种主要方法如下。.

7.1 无监督NMF

在无监督NMF中，算法接收输入的频谱图，并尝试自动发现有用的成分。.

有杂音的音频
    ↓
NMF
    ↓
自动发现的组件

其优势在于灵活性。.

该系统并不一定需要预先构建的噪声数据库。.

然而，该算法仍然需要一种方法来判断哪些成分代表语音，哪些代表噪声。.

在复杂的环境中，这一分类步骤可能会比较困难。.

7.2 监督式NMF

在监督式NMF中，系统可以使用先前学到的谱词典。.

例如

语音词典
+
噪声词典
 ↓
NMF分离
 ↓
语音 + 噪声

语音词典可能包含从语音录音中学习到的频谱模式。.

噪声词典可能包含从以下来源学习到的模式：

• 粉丝
• 空调
• 发动机
• 路噪
• 机械
• 键盘

当运行环境已知时，这可以使分离过程更具可预测性。.

其代价是，系统对训练数据的质量和覆盖范围的依赖程度会增加。.

8. NMF 与光谱减法：有什么区别？

NMF 和谱减法虽然都在频域中进行，但它们的基本假设却不同。.

谱减法通常假设可以估计噪声谱并将其减去。.

NMF 则试图将观测到的频谱图表示为多个非负成分的组合。.

当噪声具有可识别的频谱结构时，这种差异就变得很重要。.

9. NMF 与维纳滤波

维纳滤波的基本原理在于估计目标信号与噪声之间的关系。.

简化的维纳增益可表示为：

G(k) = S(k) / [S(k) + N(k)]

其中：

• S(k) = 估计信号功率
• N(k) = 估计噪声功率

NMF 通过使用基谱和时间激活来对频谱图进行建模，从而解决该问题。.

实际上，这两种方法并不一定非要相互竞争。.

基于NMF的估计结果可用于构建时频掩模，随后可采用类似维纳滤波的方式将其应用。.

这是经典DSP算法如何进行组合的一个示例。.

10. NMF 和时频掩码

一种切实可行的方法是根据估计的语音和噪声分量计算出一个软掩模。.

假设：

S(k,t) = 估计的语音能量
N(k,t) = 估计的噪声能量

一个简化的软掩码可以表示为：

M(k,t) = S(k,t) / [S(k,t) + N(k,t) + ε]

其中 ε 是一个较小的数值，用于避免除以零的情况。.

增强的谱图可按以下方式进行估计：

Ŝ(k,t) = M(k,t)V(k,t)

与简单的二元决策相比，这使得语音主导区域与噪声主导区域之间的过渡更加平滑。.

11. 为什么非负性很重要

非负性约束是NMF的关键特征之一。.

音频幅度谱本质上是非负的：

|X(k,t)| ≥ 0

因此，将它们分解为非负分量具有直观的物理意义。.

NMF 并不通过正负基值之间的抵消来表示观测信号，而是将其表示为一种加性组合：

观测光谱
=
成分 1
+
成分 2
+
成分 3
+ ...

这种基于分量的表示方式，是NMF在源分离和音频分析领域受到广泛研究的原因之一。.

12. 选择NMF成分的数量

一个重要的工程参数是元件数量，通常用 K.

例如

K = 4

这意味着该系统试图使用四个基函数来表示频谱图。.

一个非常小的 K 可能会产生过于简单的表示：

组件数量过少
 ↓
重要信号特性丢失

一个非常大的 K 虽然可以使分解更加详细，但也会增加计算需求，并使对各分量的解释变得更加困难。.

因此：

K ↑
表示灵活性 ↑
计算量 ↑
模型复杂度 ↑

不存在放之四海皆准的最优值。.

合适的数值取决于：

• 信号复杂度
• 噪声类型
• 录音环境
• 采样率
• FFT大小
• 可用 CPU
• 延迟要求
• 目标应用程序

13. 实时 NMF 音频处理

NMF 在离线处理和源分离方面颇具吸引力，但要实现实时处理仍需进行额外的工程设计。.

一种典型的实时架构可能如下：

麦克风
    ↓
ADC / 数字麦克风
    ↓
帧缓冲区
    ↓
短时傅里叶变换（STFT）
    ↓
NMF 更新
    ↓
分量估计
    ↓
时频掩码
    ↓
逆短时傅里叶变换（ISTFT）
    ↓
音频输出

主要制约因素包括：

CPU 负载

与简单的谱滤波相比，矩阵因子分解可能需要消耗更多的计算资源。.

记忆

系统必须存储：

• 基矩阵
• 激活矩阵
• 音频缓冲区
• FFT 缓冲区
• 模型参数

延迟

较大的分析窗口虽然可以提高频率分辨率，但会增加延迟。.

稳定性

随着声学环境的变化，因子分解过程必须保持稳定。.

耗电量

这一点对于以下情况尤为重要：

• 便携式设备
• 电池供电产品
• 智能麦克风
• 助听器
• 嵌入式边缘AI系统

14. 用于MEMS麦克风系统的NMF

NMF 是一种算法技术，但其性能仍很大程度上取决于麦克风信号的质量。.

如果麦克风前端存在噪声或失真，将限制下游算法能够恢复的信息量。.

对于MEMS麦克风系统，完整的信号链可能包括：

声学环境
 ↓
MEMS 麦克风
 ↓
模拟/数字前端
 ↓
多通道同步
 ↓
STFT
 ↓
NMF / DSP
 ↓
AI 增强
 ↓
应用

重要的硬件参数包括：

• 信噪比
• 灵敏度
• 频率响应
• 声学过载点
• 自噪声
• 通道一致性
• 相位一致性
• 功耗

对于多麦克风系统而言，同步和通道匹配显得尤为重要，因为空间信息可以与频谱信息结合使用。.

15. 带麦克风阵列的NMF

NMF 不必单独运作。.

麦克风阵列提供空间信息，而NMF则提供频谱分解。.

例如

多麦克风
 ↓
波束成形
 ↓
空间增强信号
 ↓
非负矩阵分解（NMF）
 ↓
频谱分量分离
 ↓
语音增强

或者，根据架构的不同，顺序也可以颠倒。.

这形成了一个更广泛的设计理念：

空间处理 + 光谱处理

波束成形可以利用麦克风之间的差异，而NMF则可以利用频谱模式与时域模式之间的差异。.

这种组合在以下方面尤其有用：

• 远场语音采集
• 会议室
• 智能教室
• 语音控制设备
• 环境音频感知
• 多声源声学分析

16. 非平稳噪声的NMF

当噪声相对稳定时，传统的降噪算法通常能表现良好。.

这方面的例子包括

• 通风噪音
• 风扇持续发出噪音
• 持续的机器噪音

然而，实际环境中可能存在不断变化的噪声：

语音
+
风扇
+
键盘
+
关门声
+
背景对话

NMF 能够独立表示多个成分，这使其在不需要的声音的频谱特性随时间变化的环境中非常有用。.

然而，这并不意味着NMF能够自动解决非平稳噪声问题。.

如果噪声的变化速度超过模型的适应能力，分离质量可能会下降。.

这是一个重要的工程限制。.

17. 用于语音增强的NMF

语音增强是NMF的一个重要应用领域。.

一个简化的系统可以表示为：

含噪声语音
 ↓
STFT
 ↓
NMF
 ↓
语音/噪声成分
 ↓
语音掩码
 ↓
增强谱图
 ↓
ISTFT
 ↓
增强语音

目标不仅仅是使信噪比（SNR）最大化。.

系统还必须保留：

• 语言清晰度
• 辅音
• 瞬态信息
• 自然的声音特征
• 低级语音成分

即使测得的噪声水平降低了，过度的抑制仍可能产生伪影。.

正因如此，听力测试和语音可懂度指标依然至关重要。.

18. NMF中常见的伪影和问题

NMF 并不是万能的解决方案。.

可能会出现几种问题。.

18.1 组件分离效果不佳

语音和噪声可能具有相似的频谱模式。.

在这种情况下，NMF 可能无法将它们明确区分开来。.

18.2 组件分配错误

该算法可能会将一个重要的语音成分误判为噪声。.

结果可以是：

噪音 ↓
语音质量 ↓

因此，降噪系统必须在抑制噪声与保持语音清晰度之间取得平衡。.

18.3 音乐或频谱伪影

当估计的掩膜变化过于剧烈时，时频处理可能会产生不自然的伪影。.

对滤波器进行时域和频域平滑处理可能会有所帮助。.

18.4 计算复杂度

与简单的谱减法相比，NMF 可能需要消耗更多的计算资源。.

对于嵌入式系统而言，这可能是一个重要的考虑因素。.

18.5 模型不匹配

在某个环境中训练好的监督式NMF系统，在另一个环境中可能表现不佳。.

例如

培训：
办公室风扇 + 演讲

部署：
工厂机械 + 演讲

已训练好的词典可能无法充分反映这种新的噪声。.

19. 如何改进NMF降噪算法

有几种工程技术可以提高性能。.

1. 更完善的噪声词典

请使用来自实际运行环境的具有代表性的录音。.

2. 自适应词典更新

当环境发生变化时，允许模型更新其表征。.

3. 时间正则化

在适当的情况下，鼓励采用更流畅的激活模式。.

4. 频率平滑

减少孤立的频谱波动。.

5. 软面膜

避免过于激进的二元分离。.

6. 将NMF与维纳滤波相结合

使用 NMF 估计信号和噪声分量，然后推导出一个更平滑的增益函数。.

7. 将NMF与麦克风阵列相结合

利用空间信息来提高源识别精度。.

8. 将NMF与人工智能相结合

将NMF用作神经增强模型的可解释前端或特征表示。.

20. NMF + AI：一种混合方法

现代音频系统越来越多地将传统信号处理与机器学习相结合。.

一种可能的架构是：

MEMS 麦克风阵列
 ↓
多通道 STFT
 ↓
NMF 分解
 ↓
频谱特征/掩膜
 ↓
神经网络
 ↓
增强语音

在AI模型进行更复杂的增强处理之前，NMF可以提供音频信号的结构化表示。.

另一种架构是：

麦克风
    ↓
DSP预处理
    ↓
NMF
    ↓
AI语音增强
    ↓
后处理

这种混合方法的优势在于，每个阶段都可以执行不同的功能。.

经典DSP可提供：

• 低延迟
• 确定性处理
• 可解释参数

人工智能可以提供：

• 非线性建模
• 复杂模式识别
• 在复杂声学环境下的处理能力得到提升

最佳架构取决于应用程序和硬件资源。.

21. NMF 与 AI 降噪的对比

NMF和神经网络以根本不同的方式解决了这个问题。.

对于嵌入式音频产品而言，问题往往并非：

哪种算法最先进？

一个更好的工程问题是：

在给定的延迟、功耗、内存和处理能力限制内，哪种组合能提供所需的音频质量？

22. 使用 Python 实现 NMF 的实际操作

以下示例通过非负谱图和矩阵分解来演示这一基本概念。.

import numpy as np

def nmf_multiplicative_update(V, rank=8, iterations=100):
    """
    使用乘法更新的基本 NMF 算法。

    V:
 形状为 (频率, 时间) 的非负输入矩阵

 rank:
 NMF 成分的数量

 iterations:
 优化迭代次数
    """

 eps = 1e-10

 F, T = V.shape

    W = np.random.rand(F, rank)
    H = np.random.rand(rank, T)

 for _ in range(iterations):

 WH = W @ H + eps

        H *= (W.T @ V) / (W.T @ WH + eps)

 WH = W @ H + eps

 W *= (V @ H.T) / (W @ WH.T + eps)

 return W, H

输入矩阵必须是非负的。.

在音频处理中，这通常可以是幅度谱图或功率谱图：

V = np.abs(stft_result)

因式分解后：

W, H = nmf_multiplicative_update(V)

重建后的频谱图如下：

V_hat = W @ H

制作音频系统需要针对以下方面采取额外措施：

• STFT
• 组件分类
• 掩码估计
• 相处理
• 逆短时傅里叶变换
• 实时缓冲
• 数值稳定性
• 计算优化

因此，上面的例子说明了 NMF原理, ，而不是一个可用于生产环境的语音增强实现。.

23. 如何评估 NMF 音频增强效果

应结合客观测量和听觉测试对NMF进行评估。.

有用的指标包括：

信噪比

用于衡量信号功率与噪声功率之间的关系。.

STOI

有助于评估语音可懂度。.

PESQ / POLQA

感知语音质量指标可以提供额外的信息，不过具体采用哪种指标则取决于应用场景和评估标准。.

谱图分析

比较：

原始
噪声
NMF增强

以确定是否删除了重要的语音成分。.

听力测试

人工评估依然很重要，因为算法在提升数值指标的同时，可能会产生不自然的聆听体验。.

24. 工程师在何时应考虑使用 NMF？

在以下情况下，值得考虑使用NMF：

• 该音频包含多个结构化音源
• 光谱模式相对稳定
• 必须进行源头分类
• 可以构建一个噪声词典
• 可解释性很重要
• 计算资源充足
• 该系统需要的结构比简单的频谱滤波所能提供的更为复杂

在以下情况下，NMF可能不太适用：

• 需要极低的延迟
• CPU 资源非常有限
• 声学环境的变化极其迅速
• 目标噪声几乎没有稳定的结构
• 经过训练的人工智能模型已经能够提供足够的性能提升

25. 完整音频处理系统中的NMF

在考虑NMF时，通常不应将其与麦克风和声学系统割裂开来。.

一个实用的音频架构可能如下所示：

声学环境
 ↓
MEMS 麦克风 / 麦克风阵列
        ↓
模拟或数字前端
 ↓
通道同步
 ↓
波束成形/空间处理
 ↓
STFT
 ↓
NMF/维纳滤波/自适应滤波
 ↓
AI语音增强
 ↓
后处理
 ↓
USB/I2S/ AES67 / Dante / 申请

不同产品可能只使用该链的一部分。.

例如

低功耗嵌入式设备
→ MEMS 麦克风 + 轻量级 DSP

会议麦克风
→ MEMS 阵列 + 波束成形 + DSP + AI

网络音频设备
→ MEMS 阵列 + DSP + AI + AES67/Dante

AI 多模态传感器
→ 原始多声道音频 + 外部人工智能处理

这说明了一个重要原则：

音质是系统层面的结果，而不仅仅是算法层面的结果。.

26. NMF 与智能音频感知技术的未来

随着音频系统与人工智能的融合日益紧密，NMF 等算法依然具有重要意义，因为它们提供了一种结构化的方法来表示复杂的声学信息。.

现代系统并非要完全取代传统的DSP，而是可以将两者结合起来：

高品质麦克风
 +
声学设计
 +
空间处理
 +
经典DSP
 +
NMF / 声源分离
 +
AI

与仅依赖单一算法相比，这种分层架构能提供更大的灵活性。.

对于麦克风制造商和音频系统开发商而言，这也意味着在系统设计过程中，应综合考虑麦克风规格、阵列几何结构、通道同步、DSP架构以及AI处理等因素。.

27. 关键要点

NMF 是一个强大的数学框架，用于将音频表示为非负谱分量的组合。.

其核心理念是：

V ≈ WH

其中：

• V 表示观测到的谱图
• W 包含谱基函数模式
• H 包含时间激活

在音频降噪方面，可利用NMF来估计语音和噪声成分，并构建更清晰的时频表示。.

其主要优势包括：

• 结构化谱分解
• 源头分类能力
• 可解释组件
• 与基于STFT的处理的兼容性
• 与DSP和AI系统的潜在集成

其局限性包括：

• 计算复杂度
• 组件歧义
• 对模型假设的敏感性
• 难以处理变化迅速或高度重叠的数据源

对于实际产品而言，NMF 最好被视为 一个更大的音频处理架构中的一个组成部分, ，而不是一种通用的降噪方案。.

常见问题

在音频处理中，NMF是什么？

NMF（即非负矩阵分解）将非负音频频谱图分解为频谱基函数模式和时域激活模式。它可用于声源分离、语音增强和降噪。.

NMF是如何降低音频噪声的？

NMF 会估算音频频谱图中的不同成分。如果语音和噪声可以由不同的成分表示，那么系统就可以在减少噪声相关成分的同时，重建语音相关成分。.

NMF 比光谱减法更好吗？

它们采用不同的方法来解决问题。谱减法通常更为简单，而NMF则能够表示多个结构化的谱分量。选择哪种方法取决于噪声特性、计算资源以及应用需求。.

NMF 能否用于语音增强？

是的。NMF 可用于将带噪声的语音分解为与语音相关的成分和与噪声相关的成分，然后重建出增强的语音信号。.

NMF 能否与 MEMS 麦克风配合使用？

是的。NMF 适用于音频数据，并可用于处理 MEMS 麦克风信号。麦克风前端的质量、信噪比（SNR）、频率响应、通道同步以及阵列设计都会影响最终的系统性能。.

NMF 能否与麦克风阵列结合使用？

是的。麦克风阵列提供空间信息，而NMF则提供频谱分解。因此，波束成形、空间滤波和NMF可以在多麦克风音频处理系统中结合使用。.

NMF 适合用于实时音频处理吗？

确实可以，但实时NMF需要进行仔细的优化，因为矩阵分解可能需要大量的计算资源。必须考虑CPU性能、内存、延迟、功耗以及NMF成分的数量。.

NMF 和 AI 可以结合使用吗？

是的。NMF 可以为神经网络提供结构化的频谱特征或初步的源估计。混合型 DSP + NMF + AI 架构能够将可解释的信号处理与机器学习的非线性建模能力相结合。.

推荐的外部参考资料

• SciPy 信号处理文档 — 有关短时傅里叶变换（STFT）和信号处理实现的参考资料。.
• scikit-learn 非负矩阵分解文档 — 有助于解释 NMF 的实际实现。.
• PyWavelets 文档 — 对更广泛的DSP/降噪内容集群很有帮助。.