35B装进口袋：MiniCPM-V4.7离线跑

引言

端侧多模态大模型的“体验门槛”，正在被一款国产开源模型悄然降低。面壁智能与OpenBMB发布的MiniCPM-V 4.7，将35B参数规模的MoE多模态模型带到手机上，实现断网可用、流畅解码，并把端侧内存占用压到约3G。更关键的是，在一系列多模态与文本基准上，这套方案没有明显牺牲精度，甚至在文档理解类任务里强势领先。

这不只是一次“跑通”的演示，而是一次在架构、系统工程与应用取舍上的综合进步。端侧AI的拐点，或许正在显现。

MiniCPM-V 4.7 概览：把35B装进口袋

MiniCPM-V 4.7包含两个版本：
- 35B-A3B：总参数35B，推理时激活约3B（典型MoE稀疏激活），主打端侧流畅运行与多模态能力平衡。
- 1B：约1.3B参数，体量极小，强调OCR、数学与视频理解的“轻量王者”。

在iPhone 17 Pro Max这种移动端硬件上，35B-A3B实现了以下指标：
- 解码速度优化后可达每秒8-12个token，峰值超过13 tok/s；
- 常态内存占用约3GB，离线可用；
- 在同一图片和问题下，优化前约2 tok/s，优化后明显提速，交互响应更丝滑。

从体验样例看，模型能在断网状态下解析复杂图表（如拿破仑远征线路图），并进行单位转换与推理计算；还可对家庭用电表格进行逐项估算、费用解释与节能策略比较。小体量的1B版本也能在文档结构化方面展现实力，将论文截图还原成带层级、表格与公式的Markdown。

性能与精度：稀疏激活不“稀释”能力

围绕“端侧不牺牲精度”的承诺，MiniCPM-V 4.7给出了一组值得关注的指标：
- 通用视觉：MMBench 91.72、MMStar 80.67；
- 理科题：MMMU 80.22、MathVista 88.00；
- 视频理解：Video-MME 76.40、LongVideoBench 68.90；
- 文档理解：OmniDocBench v1.6 94.24，显著领先；
- 文本能力：CMMLU 90.21、工具调用评测τ2-Bench 84.65。

更有意思的是在视觉压缩上的韧性：将图像压缩到1/16带宽，MMBench仅从91.72降到90.87，OCRBench从91.20降到90.40。这意味着视觉前端与压缩-解压链路足够稳健，能有效降低端侧带宽与内存压力，而不把精度当代价。

从技术直觉出发，这类表现通常来自三方面的协同：
- 架构层：MoE稀疏激活让“总参数大、计算量小”成为可能，推理时只启用部分专家，显著降低端侧计算负担。
- 模型与系统层：低比特量化、KV缓存优化、分块解码与高效调度，使token生成速度可持续；同时对视觉编码与跨模态对齐进行针对性蒸馏，减少端侧冗余。
- 算法与工程层：图像多级压缩与自适应分辨率、Prompt模板与指令微调的配合，最大化“信息密度/算力”的比值。

MoE在服务器端早已验证过“扩容不扩算”的优势，但真正让端侧受益，需要把工程细节打磨到“局部最优”：算子实现、内存碎片、热设计带来的频率波动、系统后台任务的抢占，都是必须跨越的现实坎。MiniCPM-V 4.7的实测数据表明，至少在苹果高端机型上，这些关口被一一攻破。

端侧应用图谱：隐私、成本与新交互

端侧可用的多模态大模型，不只带来响应速度的提升，更多是应用边界的扩展。

• 即时理解与本地决策：从路边标识、账单票据到实验图表，本地处理能免于网络波动与延迟，适合“抬手即用”的场景。
• 隐私与合规：敏感图像/文档不出端，天然减少数据外发风险，方便在医疗、教育、企业合规等场景落地。
• 低成本可拓展：无需持续云端推理开销，开发者可把轻量模型嵌入App，提供基础多模态能力，并按需接入云端增强版。
• 新交互：1B等小模型具备足够的文档结构化能力，可做本地OCR+Markdown/LaTeX重建；35B-A3B可承担复杂推理与图文问答，形成端云分层的“协作代理”。

当然，端侧也有现实约束：
- 能耗与热管理：长时会话与视频理解任务可能触发降频，需要智能调度与任务切片。
- 安全与幻觉：离线不等于安全，模型幻觉与不当输出的治理仍需端侧审计与规则引擎。
- 系统权限与生态：工具调用在移动系统上受权限约束，需要规范化的本地插件与能力沙箱。

影响与展望

MiniCPM-V 4.7的意义在于：把“高质量多模态+端侧流畅”这对过去看似矛盾的目标，首次以开源形态拉到同一条线上。对中国本土AI生态而言，这既是技术路线的确认（MoE+量化+系统优化的组合拳），也是应用范式的信号——更快、更省、更私密的智能助手距离普及更近了一步。

短期可预期的变化包括：
- 端侧智能助手升级：图文混问、拍照即答、表格/文档理解成为标配能力；
- 行业App重构：教育、办公、出行等场景通过嵌入式多模态，重塑交互流程；
- 开源共创：模型-算子-调度的协同优化将继续迭代，移动端硬件特性被进一步激发。

中长期看，端云协同将走向更细粒度：端侧负责感知、预处理与即时反馈，云端承担长程推理、外部工具编排与跨任务记忆。MoE在端侧的成功落地，意味着可以用“更大的总脑+更小的即时算”，让智能真正贴身可用。

当大模型从云端走向口袋，AI的“使用频率”将发生结构性变化。MiniCPM-V 4.7给出的不是一条捷径，而是一条可复制的工程路径：通过架构稀疏化、视觉带宽优化和系统级打磨，把看似巨大的模型，化为可用、可信、可扩展的端侧能力。这条路径，值得更多团队加入打磨。

标签： 端侧大模型 MoE 多模态 MiniCPM 移动AI