小米披露 MiMo-V2-Pro 训练细节:1T 模型参数,部署成千上万台 GPU

Gate News 消息,4月24日——小米的大语言模型团队负责人罗福丽在一场深入采访中透露,MiMo-V2-Pro 模型的总参数量达到 1 万亿,并且训练过程中需要成千上万台 GPU。她表示,1T 规模代表要实现接近 Claude Opus 4.6 等级的性能,并为下一阶段 AI 智能体抢占具备竞争力的入场券所达到的最低门槛

从技术层面看,Pro 版本采用极端稀疏注意力机制,在全局注意力与滑动窗口注意力之间的比例为 7:1,从而在长上下文处理时控制推理成本。模型还保留了 MTP (Multi-Token Prediction) 架构,以利用富余的计算能力实现更快的推理。

在管理层面,100 人规模的 MiMo 团队中,直接参与核心迭代的只有 30-40 人。团队在没有正式层级或明确子分组划分的情况下运作,也没有交付截止期限。遇到诸如训练损失突增这类不稳定的数值问题时,团队会优先考虑停止训练以进行排查,即使这意味着停止业务一到两周,并产生数百万美元的计算成本。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

川普政府公布打击 AI 提炼计划,控中企系统性窃取模型能力

白宫科技政策办公室(OSTP)总统助理迈克尔·J·克拉齐奥斯(Michael J. Kratsios)于 4 月 23 日发布官方声明,表示特朗普政府掌握信息,显示外国实体(主要位于中国)正在蓄意针对美国大型人工智能公司,通过“数万个代理账户”及越狱技术系统性提取美国 AI 模型能力,并同步公布四项应对措施。

Market Whisper6 分钟前

DeepSeek 推出 V4 开源预览版,技术评分 3206 超越 GPT-5.4

DeepSeek 于 4 月 24 日正式推出 V4 预览版系列,以 MIT 许可协议开源,模型权重已同步上线 Hugging Face 及 ModelScope。根据 DeepSeek V4 技术报告,V4-Pro-Max(最高推理力度模式)在 Codeforces 基准取得 3206 分,超越 GPT-5.4。

Market Whisper22 分钟前

寒武纪完成 DeepSeek-V4 的 Day 0 适配,成为中国 AI 芯片生态的重要里程碑

Gate 新闻消息,4月24日——寒武纪今天宣布,它已完成 DeepSeek-V4 的 Day 0 适配。DeepSeek-V4 是 DeepSeek 最新的大型语言模型。寒武纪使用其专有的 NeuWare 软件生态系统以及 vLLM 框架完成了该适配。适配代码已同步开源,标志着

GateNews38 分钟前

腾讯开源 Hy3 预览版,代码基准测试较前代提升 40%

腾讯于 4 月 23 日在 GitHub、Hugging Face 及 ModelScope 平台正式开源 Hy3 预览版大型语言模型,并同步于腾讯云端(Tencent Cloud)提供付费 API 服务。据 Decrypt 于 4 月 24 日报道,Hy3 预览版自 1 月下旬启动训练,截至发布时间历时不足三个月。

Market Whisper45 分钟前

如果不破产,FTX 的投资组合价值达 158 万亿韩元

FTX,这家在2022年11月因流动性短缺和资本外流而申请第11章破产保护的中心化加密货币交易所,如果没有崩溃,据Park引用的分析称,本可持有约158.796万亿韩元的投资。

Crypto Frontier48 分钟前

DeepSeek V4 在 Putnam-2025 上取得满分成绩,与 Axiom 在形式化数学推理中并列第一

Gate News 消息,4月24日——DeepSeek V4 已发布来自形式化数学推理评测的结果,在 Putnam-2025 上获得满分 120/120,与 Axiom 并列第一。 在使用 LeanExplore 和受约束采样的实际模式下,V4-Flash-Max 在 Putnam-200 Pass@8 基准测试中得分 81.00,显著优于 Seed-2.0-Prover 35.50、Gemini 3 Pro 26.50 和 Seed-1.5-Prover 26.50。前沿模式的结果显示,V4 在 Seed-1.5-Prover 110/120 与 Aristotle 100/120 之前。 V4 采用混合的形式化-非形式化推理方法:非形式化推理生成候选自然语言解答,自我验证用于筛选结果,而形式化智能体在 Lean 中完成严格证明。前沿结果采用了大规模计算扩展,而实际模式分数更能反映标准部署能力。

GateNews1小时前
评论
0/400
暂无评论