DeepSeek开源周第一天发布FlashMLA：英伟达Hopper GPU高效多层注意力解码内核 DeepSeek开源周发布了首发项目FlashMLA，这是一个专为英伟达Hopper GPU设计的高效多层注意力（MLA）解码内核，特别针对AI和深度学习任务进行了优化，性能表现极为出色。FlashMLA的发布将为AI开发者带来全新的效率提升体验。FlashMLA的核心优势FlashMLA的设计灵感来源于Flash Attention 2&3和cutlass项目，特别针对变长序列的并行处理进行了优化。它还支持分页式KV缓存快速访问，通过高度优化的CUDA内核加速注意力计算，并充分利用Hopper GPU的Transformer Engine硬件加速，效率直接拉满！变长序列处理传统的注意力机制通常需要将序列填充至统一长度，而FlashMLA则根据实际长度进行计算，这种设计不仅节省了时间，还大幅减少了内存占用。对于处理变长序列的任务，FlashMLA无疑是一个强大的工具。分页式KV缓存在大语言模型中，KV缓存可能非常庞大，FlashMLA通过分页加载的方式，仅使用所需部分，完美应对超长序列。这种设计不仅提高了内存利用率，还显著提升了处理效率。近峰值性能在CUDA 12.6环境下，H800 SXM5内存受限配置达到了3000 GB/s的带宽，计算受限达到了580 TFLOPS，接近H800的理论峰值（3300 GB/s带宽，600 TFLOPS算力）。这种接近理论峰值的性能表现，使得FlashMLA在实际应用中表现极为出色。使用条件要使用FlashMLA，您需要配备英伟达Hopper GPU，并且环境需满足CUDA 12.3及以上以及PyTorch 2.0及以上的要求。无论是训练新模型还是推理任务，FlashMLA都能让您的AI任务飞起来！开源项目地址{anote icon="fa-download" href="https://github.com/deepseek-ai/FlashMLA" type="error" content="点此查看"/}