正文内容 评论(0

小米开源首个推理大模型Xiaomi MiMo:7B参数就超越OpenAI o1-mini
2025-04-30 10:28:29  出处:快科技 作者:建嘉 编辑:建嘉     评论(0)点击可以复制本篇文章的标题和链接复制对文章内容进行纠错纠错

快科技4月30日消息,小米官方今天正式宣布,开源首个为推理(Reasoning)而生的大模型——Xiaomi MiMo。

据介绍,Xiaomi MiMo在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo仅用7B的参数规模,超越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview。

小米开源首个推理大模型Xiaomi MiMo:7B参数就超越OpenAI o1-mini

官方表示,MiMo 推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动。包括:

预训练:核心是让模型见过更多推理模式

数据:着重挖掘富推理语料,并合成约200B tokens推理数据。

训练:进行了三阶段训练,逐步提升训练难度,总训练25T tokens。

小米开源首个推理大模型Xiaomi MiMo:7B参数就超越OpenAI o1-mini

后训练:核心是高效稳定的强化学习算法和框架

算法:提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题,并引入 Easy Data Re-Sampling 策略,以稳定 RL 训练。

框架:设计了Seamless Rollout系统,使得RL训练加速2.29倍,验证加速1.96倍。

小米开源首个推理大模型Xiaomi MiMo:7B参数就超越OpenAI o1-mini

所有技术细节已经Open,见技术报告。

MiMo-7B全系列已开源MiMo-7B 已开源4个模型至HuggingFace。

小米开源首个推理大模型Xiaomi MiMo:7B参数就超越OpenAI o1-mini

【本文结束】如需转载请务必注明出处:快科技

责任编辑:建嘉

文章内容举报

  • 支持打赏
  • 支持0

  • 反对

  • 打赏

文章价值打分

当前文章打分0 分,共有0人打分
  • 分享好友:
  • |

  • 热门文章
  • 换一波

  • 好物推荐
  • 换一波

  • 关注我们

  • 微博

    微博:快科技官方

    快科技官方微博
  • 今日头条

    今日头条:快科技

    带来硬件软件、手机数码最快资讯!
  • 抖音

    抖音:kkjcn

    科技快讯、手机开箱、产品体验、应用推荐...

OSZAR »