1. 主页 > 社会焦点

小米罗福莉谈MiMo API降价:原始推理成本远低于行业平均水平,基本可以维持收支平衡

IT之家5月28日消息,小米MiMo官方昨日宣布,小米MiMo-V2.5系列API永久降价,相比原始API定价,新定价最高降幅可达99%,且不再区分上下文窗口长度。

小米MiMo负责人罗福莉随后在X平台发文,谈到了MiMoAPI降价的技术原因,IT之家附罗福莉原文翻译如下:

MiMoAPI价格下调的背后:

最高降幅可达99%,针对的是输入(缓存命中)。核心原因在于我们的推理框架现在支持针对SWA的分层KV缓存优化。生产推理引擎测试表明,该优化将缓存的Token容量提升了5倍,相当于降低了80%的缓存成本。再结合Hybrid模型中多个FullAttention模块之间的缓存读取重叠(CacheReadOverlap),实际成本得到了进一步降低。

输入(未命中缓存)和输出的价格也降低了约60%至80%。这主要得益于模型架构带来的极致1:7Full:SWA稀疏比(70层的MiMo-V2.5-Pro的prefill计算量大致相当于一个10层的GQA模型)。这使得我们原始推理成本远低于行业平均水平,在定价上自然留出了2到3倍的利润空间。此次价格调整,只是我们决定把这些结构性成本优势直接让利给开发者。

在新的、更低的API价格之下,我们的生产推理引擎已接近满负载运行,并且我们基本上仍然可以维持收支平衡(wecanstillessentiallybreakeven)。我们此前曾建议大语言模型(LLM)公司不要“盲目降价”,正是因为很少有模型架构和推理优化能力,能够在API大幅降价后仍避免亏损。如果未来出现更多能够节省计算量和KV缓存的架构,并配合更好的推理基础设施(Infra)来降低API成本,这将在行业内形成一个绝佳的良性循环。

更重要的是,价格合理、性能优异的模型API将驱动真实、持续且大规模的推理需求。这种上游需求拉动了整个AI基础设施链的发展——包括芯片、服务器、光模块、PCB、液冷、电力、储能和数据中心——并作为AI硬件系统性重估的战略支点。从长远来看,这为训练和推理管线注入了更廉价、更易获取的算力,从而加速了全球通用人工智能(AGI)在多个地区和技术路线上的并行演进。

更多技术细节,我们后续会发布一篇详细的Blog。

本文源自:IT之家

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至 203304862@qq.com

本文链接:https://jinnalai.com/jiaodian/832654.html

联系我们

在线咨询:点击这里给我发消息

微信号:

工作日:9:30-18:30,节假日休息