美团正式开源万亿参数大模型 LongCat-2.0，该模型总参数达 1.6T，平均激活约 48B，专为真实 Agentic Coding 任务设计。这标志着国产大模型在超大规模参数开源领域迈出重要一步，也是业界首个在五万卡国产算力集群上完成推理的万亿参数模型。
正文解读
架构方面，LongCat-2.0 创新引入 LongCat 稀疏注意力和 N-gram Embedding。前者通过流感知索引与层级化索引减少碎片化访存，加速百万级长上下文训练与推理；后者在 MoE 稀疏度接近 97% 的情况下将 135B 参数投入嵌入层，兼顾参数收益与结构稳定性。后训练阶段采用多教师在线蒸馏，将专家分为 Agent、推理和交互三类，通过 MOPD 架构在国产算力集群上无缝融合。
针对国产芯片在显存、带宽和互联方面的多重限制，美团从模型、芯片适配与部署三个方向逐一突破。模型层面通过 ScMoE 利用国产芯片控核能力实现 Dense 与 MoE 分支物理核心级并行，结合 KV-cache 切分缓解超长上下文显存压力。芯片适配层面以 Super Kernel 减少算子启动开销，通过 Weight Prefetch 隐藏 I/O 延迟，在受限条件下最大化硬件利用率。部署层面采用 PD 分离兼顾 TTFT 与 TPOT，配合异步化 Expert-Parallel 负载均衡解决大 EP 度下的负载不均。
本次开源同步提供 BF16、FP8 及 INT8 等多精度版本，并将针对国产算力极致优化的推理成果完整开放，目标是让存量国产卡乃至老卡都能流畅部署万亿大模型推理服务。需要指出的是，LongCat-2.0 目前验证了国产芯片承载复杂大模型任务的技术可行性，其在实际 Agentic Coding 场景中的表现仍需更多第三方评测与落地案例来检验。
原创文章，作者：admin，如若转载，请注明出处：https://www.23btc.com/197849/
