TIGER（Time-frequency Interleaved Gain Extraction and Reconstruction Network）是由清华大学研究团队提出的一种轻量级语音分离模型。该模型通过时频交叉建模策略、频带切分和多尺度注意力机制，显著提升了分离效果。具体来说，TIGER在压缩94.3%的参数量和95.3%的计算量的情况下，性能与最先进的模型如Tensor-Flow-Grid（TF-Grid）相当。

TIGER功能特点：

1、高效语音分离：

– TIGER 通过时频交叉建模模块（FFI）和多尺度注意力机制，能够高效分离混合语音中的不同说话者，特别适用于复杂声学环境。

2、低计算量与低参数量：

– TIGER 在压缩 94.3% 的参数量和 95.3% 的计算量后，性能仍与当前最先进的模型相当。

3、复杂声学环境适应：

– TIGER 通过 EchoSet 数据集模拟真实场景中的噪声和混响，提升了模型在复杂环境下的鲁棒性。

4、创新的时频交叉建模：

– TIGER 的核心是时频交叉建模模块（FFI），通过交替处理时间和频率信息，有效整合时频特征。模块包含频率路径和帧路径，每个路径都包含多尺度选择性注意力模块（MSA）和全频/帧注意力模块（F³A），能融合局部和全局信息。

5、频带切分策略：

– TIGER 通过频带切分策略，将频带划分为不同宽度的子带，减少计算量的同时，让模型专注于关键频带。

6、多尺度注意力机制：

– TIGER 引入了多尺度选择性注意力模块（MSA），通过多尺度卷积层和选择性注意力机制，融合局部和全局信息，增强模型对多尺度特征的提取能力。

TIGER应用场景：

1、会议及演讲记录：在多人发言的会议或演讲场景中，TIGER 可以高效分离不同发言人的语音，提升会议记录的效率和准确性。

2、视频剪辑与制作：在视频内容创作中，TIGER 能精确分离主播与背景音或其他人物的语音，方便后期制作和剪辑。

3、电影音频处理：TIGER 在电影音频分离任务中表现出色，能分离出人声、音乐和音效，提升音频处理的灵活性和质量。

4、智能语音助手：在智能语音助手应用中，TIGER 可以帮助分离用户语音和背景噪声，提升语音交互的体验。

TIGER项目地址：

1、项目官网：https://cslikai.cn/TIGER/

2、Github仓库：https://github.com/JusperLee/TIGER

3、arXiv技术论文：https://arxiv.org/pdf/2410.01469