SemiAnalysis:Kimi K3 75%网络层用KD

SemiAnalysis:Kimi K3 75%网络层用KD
核心摘要

BlockBeats 消息,7 月 19 日,半导体与 AI 独立研究机构 SemiAnalysis 发文指出,虽然 Kimi K3 模型约四分之三的网络层采用 KDA 机制,相比完整全局注意力模型可将 KV 缓存传输带宽降低最多 10 倍,但这并不意味着 AI 网络交换机市场规模将大幅收缩。

正文解读

Kimi K3 拥有 2.8 万亿参数,即使采用 MXFP4 格式,每次前向计算仍需约 1.5TB HBM 带宽。若要在保持合理交互速度的同时实现盈利部署,仍需通过 GB300 NVL72 等高带宽网络连接大量芯片,并依赖 WideEP 扩展服务。WideEP 会将 896 个专家模型分散至多个 GPU,并在每层、每次前向计算中两次执行 Token 分发与结果合并,单次前向计算需执行 120 次以上。相比之下,预填充与解码之间的 KV 缓存传输每轮对话仅发生一次,因此 KDA 节省的传输带宽,可能远小于大规模专家模型带来的扩展网络需求。

原创文章,作者:admin,如若转载,请注明出处:https://www.23btc.com/202508/

(0)
上一篇 2天前
下一篇 2天前

相关推荐