FlashMLA是由 DeepSeek 在2025年2月24日开源发布的一款高效多层注意力（MLA）解码内核，专为英伟达 Hopper 架构 GPU（特别是 H800）优化设计。它针对可变长度序列进行了深度优化，旨在大幅提升大语言模型（LLM）的解码效率和性能，尤其适用于高性能 AI 推理任务。

FlashMLA功能特点：

1、针对 Hopper GPU 优化：

– 专为 H800 GPU 设计，充分利用其硬件特性，确保在高性能硬件上实现最优性能。

2、极致性能表现：

– 在 H800 SXM5 GPU 上，FlashMLA 实现了 3000 GB/s 的内存带宽和 580 TFLOPS 的计算性能，显著提升了模型的响应速度和吞吐量。

3、支持 BF16 浮点格式：

– 采用 BF16 精度，提升计算效率和精度，适应现代 AI 推理任务的需求。

4、分页 KV 缓存：

– 采用块大小为 64 的分页键值缓存（Paged KV Cache），优化内存管理，进一步提升效率。

5、动态调度与内存优化：

– 通过动态调度和内存优化，充分利用 GPU 的并行计算能力，避免资源浪费。

6、灵感来源：

– 借鉴了 FlashAttention 2&3 和 Cutlass 等优秀项目的技术优势，结合 DeepSeek 的创新优化。

FlashMLA应用场景：

1、实时 AI 推理：如智能客服、实时翻译等，提升交互流畅度。

2、聊天机器人：加速对话生成，优化用户体验。

3、文本生成：提高内容创作、文案生成等任务的效率。

FlashMLA使用方法：

FlashMLA 提供了详细的快速上手指南：

1、环境准备：需要 Hopper 架构 GPU、CUDA 12.3 及以上版本以及 PyTorch 2.0 及以上版本。

2、安装：

   python setup.py install

3、运行 Benchmark 测试：

   python tests/test_flash_mla.py