DeepSeek 开源周第一天，降本大法公开——

FlashMLA，径直冲破 H800 计较上限。

网友：这怎样可能？？

它是为 Hopper GPU 配置的高效 MLA 解码内核，特意针对可变长度序列进行了优化，当今仍是进入出产。

MLA，恰是 DeepSeek 建议的立异属眼光架构。从 V2 运转，MLA 使得 DeepSeek 在系列模子中完毕本钱大幅缩短，然而计较、推感性能仍能与顶尖模子捏平。

按照官方先容来说，FlashMLA 使用之后，H800 不错达到 3000GB/s 内存，完毕 580TFLOPS 计较性能。

网友们纷纷点赞：向工程团队致以精巧的敬意，从 Hopper 的张量核中挤出了每一个 FLOP。这即是咱们将 LLM 奇迹推向新前沿的时势！

仍是有网友用上了。

开源第一天：FlashMLA

当今 GitHub 页面仍是更新。短短一小时，Star 星数仍口角凡 1.2k。

这次仍是发布：

提拔 BF16；

分页 KV 缓存，块大小为 64

快速启动：

环境条目：

Hopper GPU

CUDA 12.3 及以上版块

PyTorch 2.0 及以上版块

在项盘算终末，它还示意，这是受到了FlashAttention 2&3和英伟达 CUTLASS 项盘算启发。

FlashAttention 是能完毕快速且内存高效的精准属眼光，主流大模子皆有在用。最新的第三代，不错让 H100 行使率飙升至 75%。考验速率提高 1.5-2 倍，FP16 下计较朦拢量高达 740TFLOPs/s，达表面最大朦拢量75%，更充分行使计较资源，此前只可作念到 35%。

中枢作家是 Tri Dao，普林斯顿大牛，Together AI 的首席科学家。

而英伟达 CUTLASS 是 CUDA C++ 模板空洞的汇集，用于在 CUDA 内完毕高性能矩阵 - 矩阵乘法 ( GEMM ) 和通盘级别和规模的关系计较。

MLA，DeepSeek 基本架构

终末再来说说，MLA，多头潜在属眼光机制，DeepSeek 系列模子的基本架构，旨在优化 Transformer 模子的推理恶果与内存使用，同期保捏模子性能。

它通过低秩调和压缩时代，将多头属眼光中的键（Key）和值（Value）矩阵投影到低维潜在空间，从而权贵减少键值缓存（KV Cache）的存储需求。这种步履在长序列科罚中尤为紧迫，因为传统步履需要存储完好的 KV 矩阵，而 MLA 通过压缩仅保留要津信息。

V2 版块中，这一立异性架构把显存占用降到了当年最常用的 MHA 架构的 5%-13%，完毕了本钱大幅缩短。它的推理本钱仅为 Llama 370B 的 1/7、GPT-4 Turbo 的 1/70。

而在 V3，这一降本提速就更为显然，径直让 DeepSeek 眩惑公共概念。

也就在今天，DeepSeek-R1 在 HuggingFace 上获取了非凡 10000 个赞，成为该平台近 150 万个模子之中最受接待的大模子。

HuggingFace CEO 发文公布了这一喜信。

The whale is making waves！鲸鱼正在掀翻波澜！

好了期待一下，接下来的四天会发些什么呢？

GitHub 纠合：

https://github.com/deepseek-ai/FlashMLA

参考纠合：

https://x.com/deepseek_ai/status/1893836827574030466🦄九游娱乐 - 最全游戏有限公司