TPAMI 2026丨Xingchen AGI 破解ANN高功耗与SNN信息损失困局，实现语音增强效果与效率双突破

星辰通用人工智能实验室(Xingchen AGI Lab）是中国电信星辰基础大模型的研发单位，将“基于国产芯片训练国际一流模型”作为自己的使命目标，开展战略性、引领性、系统性的通用人工智能全栈技术研发，推动国产生态成为通用人工智能原始创新和规模应用的重要力量。实验室于2026年3月在北京成立，历经前身近五年建设，团队成员超230人，平均年龄31岁，技术方向牵头人及骨干均毕业于清华、中科院、斯坦福、哥伦比亚等国内外知名高校，核心基模研发团队90%来自阿里、腾讯、百度等互联网大厂。当前，实验室基于中国电信国产万卡集群，已完成视觉、语音、语义和多模态四大方向布局，模型参数覆盖十亿/百亿/千亿/万亿，在GitHub、huggingface等主流开源社区下载次数突破60万，入选2025年“央企十大国之重器”。

日常通话、会议、智能家居等场景中，噪音总会影响语音体验。为抑制噪声，提升语音质量与可懂度，语音增强技术应运而生。近二十年来，依托人工神经网络（Artificial Neural Network，ANN）的降噪方案取得出众效果，但运算开销大、功耗高，难以在终端设备落地。借鉴类脑机制的脉冲神经网络（Spiking Neural Networks, SNN）虽具备低计算复杂度、低功耗的潜力，却因二值化极造成语音信息丢失；而直接由 ANN 改造得到的 SNN，存在结构冗余、训练难度增大等问题。

针对上述问题，星辰通用人工智能实验室语音技术研发中心联合安徽大学、中科院声学所等单位，创新提出 DBHN-Net: ANN 与 SNN 双分支混合的语音增强网络模型，通过信息转换、信息交互、时频交叉注意力融合等功能模块设计，在保持性能的同时大幅降低计算复杂度，在开源权威数据集VoiceBank+Demand、DNS-Challenge 2020数据集上的WB-PESQ指标分别达到3.08、3.74，在WSJ0-84+DNS噪声数据上WB-PESQ到达3.14（-5到5dB），在基线模型中达到顶尖水平。

该成果已被国际顶刊TPAMI接收并发表。据统计，该工作是业内语音降噪领域在IEEE TPAMI上正式发表的首篇论文。人工智能领域顶级国际期刊《IEEE模式分析与机器智能汇刊》(IEEE Transactions on Pattern Analysis and Machine Intelligence，简称TPAMI)是人工智能、模式识别、图像处理和计算机视觉领域公认顶级国际期刊，影响因子高达20.8，在2025年谷歌所发布的学术影响力排名中，位列计算机工程、电子工程及人工智能等领域所有相关期刊之首。

ANN算力困局与SNN信息损失的双重挑战

近年来，基于 ANN 的语音增强技术发展迅速，Transformer 凭借长时依赖建模能力得到广泛应用，Mamba 则有效缓解了其二次复杂度问题。然而，当前模型常通过堆叠高性能模块提升性能，导致计算量与功耗激增，轻量化语音增强模型成为终端场景的迫切需求。自 2023 年起，SNN 在语音增强领域受到关注，其类脑特性具备超低功耗潜力，但仍存在明显短板：直接由 ANN 转换而来的架构存在机理不兼容问题，易引发结构冗余与训练困难；同时，SNN 的二值脉冲传输会造成语音多尺度时序信息的损耗，导致性能下降。因此，如何有效整合两类网络的特性，构建优势互补的新型语音增强架构，是当前面临的重要挑战。

解决方案：一种包含ANN分支与SNN分支的双分支混合神经网络

为解决上述难题，论文提出了一种包含ANN与SNN的双分支混合神经网络（DBHN-Net），旨在维持语音增强性能的同时降低计算开销。其中，ANN分支通过频带切分模块来精炼特征，并结合TF-Mamba完成高效序列建模。SNN分支则采用残差型LIF神经元完成脉冲编码，搭配信息转换块 ITB 还原连续信号，弥补二值化带来的信息损失。特别地，网络模型全程通过信息交互模块实现连续信息与脉冲信息交互，末端增设时频交叉注意力模块，完成双分支特征深度融合。

DBHN-Net：模型架构及重要模块

一、融合ANN与SNN的双分支网络架构

论文提出了一种新颖的双分支语音增强网络架构，其融合了ANN的高性能与SNN的低复杂度互补优势，可在保持较优增强性能的同时降低计算复杂度（如图 1a）。

二、ANN分支

ANN 分支采用频带分割策略，将含噪复数谱沿频率维度划分为无重叠频带，送入 TF-Mamba 块建模（如图 1c）。TF-Mamba 块由多个 TF-Mamba 模块堆叠而成。首个模块融合编码器与第二个信息交互模块的输出并重塑维度，经因果 Mamba、层归一化与线性投影完成时序建模；再经残差连接与维度变换，送入双向频域 Mamba 处理。频域与时域 Mamba 结构相近，核心差异为双向建模，以兼顾时序因果性与频域全局特征。

三、SNN分支

基于残差连接的脉冲特征提取块（如图 1b）接收卷积层与交互模块输出，经 N 组 “脉冲特征提取 + 下采样” 结构建模：LIF 神经元将信号转为二值脉冲，再经 3×3 卷积与组归一化，输出 SNN 第一分支特征；第二分支则依次通过卷积与组归一化提取特征。双分支输出与原始输入融合后，送入特征细化模块，将离散脉冲转为连续表征并提取多维度特征，缓解信息损失。

四、时频交叉注意力融合块

时频交叉注意力融合模块用于整合 ANN分支与SNN分支的输出，完成时域、频域双维度特征融合，结构（如图 2a)所示。具体流程为：先将两支路特征映射至统一维度，再送入多头注意力模块处理。该模块可深度融合两类差异化特征，避免模型训练偏向单一分支。

五、信息交互模块

整体网络架构中的多个信息交互模块（如图 2b）用于强化双分支信息的深度交互。ANN与SNN分支特征先经线性层与平均池化对齐维度，拼接后经卷积、层归一化并与输入残差融合；再经拼接、卷积与归一化，由 Sigmoid生成注意力权重，调制残差输出；最终经线性层与转换层输出适配两分支的特征，实现双分支自适应交互与特征互补。

六、信息转换模块

信息转换模块（ITB）（如图3所示），首先将K路脉冲特征聚合为 (B,C,F,T) 维度的特征。随后分为两路处理：上分支通过两层Conv2d、激活层与一层 Conv2d+Sigmoid 生成权重α；下分支先经AvgPool 再以相同结构生成权重1−α。两路特征分别与对应权重相乘后相加，实现脉冲特征向连续表示的转换，缓解二值信息损失。

实验结果

一、消融实验

我们在 WSJ0-84+DNS2020 噪声集上开展消融实验，验证了以下关键结论：

双分支架构：双分支架构显著优于单分支，ANN分支大幅提升性能，SNN分支有效降低计算复杂度。（如表1所示）

表1：双分支架构的消融实验

ANN分支TF-Mamba：ANN分支中基于 Mamba的序列建模，在保持性能的同时显著降低了计算开销；替换为 Transformer或LSTM会导致复杂度上升、性能下降。（如表2所示）

SNN分支残差LIF与ITB：SNN分支中，残差LIF结构能在二值脉冲信号中保留更多关键信息；移除信息转换块（ITB）会造成性能下降，证明其可有效缓解脉冲网络的固有信息损失问题。（如表3所示）

交互模块与时频交叉注意力融合模块：移除交互模块与时频交叉注意力融合模块会导致性能显著下降，其中时频交叉注意力模块贡献更大，表明其双域融合机制与语音信息特性高度契合。（如表4所示）

二、和基线模型对比实验

所提方法与基于ANN和SNN的基线模型在WSJ0-84+DNS噪声的数据集上进行对比，结果如表5所示。结果表明，融合网络在低信噪比、非平稳噪声等挑战性场景下表现更优，PESQ、ESTOI、SI-SDR指标在-5dB到5dB的信噪比下，平均值分别达到3.14、81.32%、11.93，较基线模型效果更优。

表5：WSJ0-84 + DNS噪声数据集上所提算法与基线方法的对比

我们在VoiceBank+Demand数据集开展对比实验，结果如表6所示。实验进一步证实，所提模型既解决了ANN模型计算复杂度高的问题（见表7），又改善了 SNN存在的信息损失缺陷。该模型融合两类架构优势，相较基线方法，所提模型在WB-PESQ、STIO指标上达到了3.08和95%，COVL也达到3.74，优于所选基线模型。

表6：VoiceBank+Demand 数据集上所提算法与基线方法的对比

表7：所提算法与基线方法的计算复杂度对比

表8为本文方法与基线模型在DNS2020 测试集上的对比结果。现有SNN语音增强模型多采用多阶段架构，并依托 Transformer、LSTM完成序列建模，整体结构复杂。本文结合Mamba驱动的 ANN分支与轻量SNN分支，在简化架构的同时取得更优效果。该数据集包含英、法及印度语种，对跨语言鲁棒性要求更高，所提方法在WB-PESQ、PESQ、STOI和SI-SDR上分别达到了3.45、3.74、98%和20.63，优于所选基线模型，展现出较强的跨语言泛化能力。

结语
我们提出了一种面向单通道语音增强的 ANN-SNN 双分支混合网络。ANN 分支通过频带分割模块与 Mamba 序列建模，在保持性能的同时有效降低计算复杂度；SNN 分支采用残差结构 LIF 神经元与信息转换块，缓解脉冲信号带来的信息损失。此外，网络通过交互模块实现全程双分支信息交互，并利用时频交叉注意力完成特征融合。在三个公开数据集上的消融实验与对比结果表明，该方法在各项评估指标上均优于基线模型，实现了性能与计算效率的平衡。

基于现有技术架构，我们将持续深化类脑机制网络的研究与工程化落地，推动技术规模化应用于计算资源受限的智能交互终端语音前端系统，在大幅降低算力消耗的同时，显著提升语音交互的稳定性与交互质量，未来有望广泛应用于家居和办公场景，如智能家居场景，设备在嘈杂环境下精准响应语音指令；在线会议场景，突破环境噪声限制实现高清通话；车载语音场景，强效抑制行车噪声，保障语音交互准确可靠；语音通信场景，无惧地铁、车站等嘈杂环境，实现清晰顺畅的实时沟通。

未来研究中，我们将以此架构为基础，深挖SNN等类脑机制网络的低功耗价值，持续优化语音细节还原能力，并推动技术向多通道降噪、回声消除、人声提取等场景延伸，为各类智能语音终端打造高性能、低能耗的音频前端处理底座。