字节跳动豆包大模型：推理速度大幅提升 关键突破

快讯正文

【2 月 12 日，字节跳动豆包大模型团队取得重要突破！】随着模型规模的扩大，推理成本和访存效率成为限制大模型规模应用的关键瓶颈。近期，字节跳动豆包大模型团队提出全新稀疏模型架构 UltraMem，有效解决了 MoE 推理时高额的访存问题。其推理速度较 MoE 架构提升 2—6 倍，推理成本最高可降低 83%。该研究还揭示新架构的 Scaling Law，证明其不仅有优异的 Scaling 特性，更在性能上超越 MoE。实验结果表明，训练规模达 2000 万 value 的 UltraMem 模型，在同等计算资源下，可同时实现业界领先的推理速度和模型性能，为构建数十亿规模 value 或 expert 开辟新路径。

本文由 AI 算法生成，仅作参考，不涉投资建议，使用风险自担