AI风向标
SGLang 和 Miles 为月之暗面 2.8T 参数 Kimi K3 模型提供发布当日支持
SGLang 和 Miles 为月之暗面开源的 2.8T 参数模型 Kimi K3 提供发布当日支持，分别负责推理和 RL 训练。K3 采用 69 层 KDA 线性注意力与 24 层 MLA 交错的混合架构，在 SGLang 上单卡 batch-1 解码速度达约 113 tok/s，结合 DSpark 推测解码可达约 423 tok/s。
详细介绍
SGLang 和 Miles 为月之暗面开源的 2.8T 参数模型 Kimi K3 提供发布当日支持，分别负责推理和 RL 训练。K3 采用 69 层 KDA 线性注意力与 24 层 MLA 交错的混合架构，在 SGLang 上单卡 batch-1 解码速度达约 113 tok/s，结合 DSpark 推测解码可达约 423 tok/s。
AI HOT 详情：https://aihot.virxact.com/items/cms3ivlee000oroiy8dntgvq9
原文链接：https://www.lmsys.org/blog/2026-07-27-kimi-k3-day0-support
内容信息
- 分类
- 产品发布/更新
- 时间
- 2026-07-27T17:50:17.260Z