數據寶
余莉
2025-05-01 08:00
小米進軍大模型，最擅長“以小博大”。
4月30日，小米宣布開源首個為推理而生的大模型Xiaomi MiMo。值得注意的是，其經過強化學習訓練形成的MiMo-7B-RL模型，用僅僅70億的參數，在多項權威基準測試中得分超過了OpenAI的閉源推理模型o1-mini 和阿里通義千問320億參數的QwQ-32B-Preview，實現了“以小博大”。
受此消息影響，今日小米股價漲5.37%，金山云和金山軟件更是分別大漲14.20%和7.07%。業內人士認為，小米作為國產頭部的手機品牌廠商，此次開源的小參數規模模型展現了較強的性能，為AI在手機端側的應用和運行提供了更堅實的模型基礎。
小米開源MiMo推理大模型
4月30日，小米宣布開源首個為推理而生的大模型Xiaomi MiMo。據介紹，在數學推理（AIME 24-25）和代碼競賽（LiveCodeBench v5）公開測評集上，MiMo僅用7B的參數規模，超越了OpenAI的閉源推理模型o1-mini和阿里Qwen更大規模的開源推理模型 QwQ-32B-Preview。
以70億的小規模參數，實現了卓越的性能，MiMo展現了小米“以小博大”的能力。據悉，這一成績的取得，主要源于團隊在預訓練和后訓練的數據和算法方面進行了多層組合創新努力。預訓練是讓模型領略更多的推理模型，而后訓練則是打磨高效穩定的強化學習算法及框架。
具體來看，MiMo背后包含了許多技術細節，包括使用改進的組相對策略優化（GRPO）算法進行訓練，移除KL（Kullback-Leibler散度）損失、動態采樣和增加上界裁剪等策略；提出測試難度驅動的獎勵機制，將測試用例按難度分組，并根據難度分配獎勵；采用易數據過濾和重采樣策略，提高采樣效率并穩定策略更新等等。
小米大模型團隊也已公開了MiMo的技術報告，展現了相關的技術細節。此外，MiMo-7B全系列已開源，包括預訓練模型MiMo-7B-Base，監督微調模型MiMo-7B-SFT以及強化學習模型MiMo-7B-RL和MiMo-7B-RL-Zero。
小米大模型團隊表示，MiMo來自于全新成立不久的“小米大模型Core團隊”的初步嘗試。業內人士普遍認為，MiMo的開源標志著AI發展從盲目追求參數規模轉向注重算法效率和能力密度的理性發展期，通過技術創新，小模型同樣可以實現高效率、大智慧，帶來“性價比革命”。
小米全面發力AI大模型
隨著MiMo模型的開源，小米剛剛成立不久的小米大模型Core團隊也終于浮出水面。小米創始人雷軍曾在2023年表示，自2016年組建AI團隊以來，到2023年4月第一時間成立專職大模型團隊，經過多次擴展，小米AI團隊相關人員規模已達3000多人，逐步建立了視覺、語音、聲學、知識圖譜、NLP、機器學習、多模態等AI技術能力。
小米大力“押寶”大模型早在去年底便已有消息傳出。DeepSeek-V3爆火之后，背后的AI“天才少女”羅福莉引發了大眾的關注，彼時就有媒體報道稱，雷軍以千萬年薪招攬DeepSeek開源大模型DeepSeek-V2的關鍵開發者之一羅福莉，領導小米AI大模型團隊。
此外，小米也搭建了自己的GPU萬卡集群，并持續提升算力儲備，為大模型研發提供更充分的算力供給。今年3月，小米發布2024年報，明確2025年將投入70億元以上資金用于AI研發，約占總研發經費的1/4，重點聚焦AI基礎設施、大模型開發及應用場景搭建。
從招兵買馬到“補充彈藥”，小米全面發力AI大模型，將AI視為下一個“新戰場”。值得注意的是，與其他大模型廠商追求高性能、大參數不同，小米大模型主攻輕量化、本地部署，也是業界第一個在手機芯片上跑通十億參數規模大語言模型，驗證了端側小模型在部分目標場景可以取得媲美云端大模型效果。
雷軍曾表示，“小米擁有品類眾多的設備，是全球規模領先的消費級物聯網平臺。設備多樣，使用場景也各不相同，一個大模型難以兼顧。如果把一部分大模型能力下放到端側，不僅能更好地保護用戶隱私、而且有機會在本地實現千人千面的個性化定制。”因此，在訓練策略上，小米一直致力于減少參數的浪費，達到效率和效果的最佳均衡。
同時，小米發力AI，致力于將大模型與自身業務深度協同，圍繞硬件生態做深場景，讓AI真正服務于產品。目前，小米的AI技術能力已逐步接入手機、汽車、AIoT、機器人等業務板塊，端側賦能加速。業內人士認為，小米作為國產頭部的手機品牌廠商，此次開源的小參數規模模型展現了較強的性能，為AI在手機端側的應用和運行提供了更堅實的模型基礎。
中信建投研報表示，大模型能力不斷迭代增長，但模型之間差異在縮小。這些技術需要在終端設備上應用落地，最終通過這些應用/終端實現商業價值的轉化，從而形成一個從投資到變現的完整閉環。目前，Meta、字節、小米等巨頭已經開始大力布局端側AI，搶奪AI Agent入口。除了手機、PC、眼鏡、耳機外，潛在的端側AI基數巨大，家電、機器人、智能車、教育辦公設備、玩具等都受益于端側AI的趨勢，AI嵌入將帶來廣泛的硬件升級。重點關注算力、存儲、連接、電力等硬件環節。
責編：萬健祎
校對：廖勝超
