月之暗面开源 2.8 万亿参数 Kimi K3 模型
7月27日,月之暗面正式开源2.8万亿参数Kimi K3模型,涵盖权重、技术报告及MoonEP等关键基础设施。作为当前规模最大的开源模型,Kimi K3采用KDA混合线性注意力机制,原生支持视觉理解并拥有百万Token上下文窗口。其通过Stable LatentMoE框架将稀疏度扩展至896选16,结合训练优化使扩展效率较前代提升约2.5倍,显著增强算力转化能力。该模型在长程编码、大型代码库处理及视觉推理任务中表现强劲,具备极少人工监督下完成长时间工程任务的能力。此举不仅刷新了开源模型规模上限,更展示了通过架构创新高效提升模型智能的新路径,对推动开源大模型技术演进具有重要影响。
Kimi 月之暗面 (X) ↗IT之家 ↗AI Hot(卡兹克) ↗The Verge AI ↗Simon Willison ↗量子位 ↗