350亿识图模型塞进iPhone:每秒13个字,拍照不用联网

你的手机里很快就能塞下一个"长眼睛的 ChatGPT",不用联网、不用订阅、拍张照片它当场给你看懂——而且免费。2026年10月11日,国产团队面壁智能与清华 OpenBMB 把新一代多模态模型 MiniCPM-V 4.7 全部开源(Apache-2.0 协议,可商用)。其中大的那版有 350亿参数,在 iPhone 17 Pro Max 上每秒能蹦出 13 个字;小的那版整个模型只有 3GB 出头,旧手机也能跑。

先说清楚数据来源和边界:本文所有跑分均来自 OpenBMB 官方模型卡与开源仓库,截至发稿尚无第三方独立复现,国外技术评测站(如 OrcaRouter)也特别提醒"绝对分数按厂商口径看"。但协议、文件体积、支持的设备这些是可以自己下载核验的硬事实,不影响你判断"要不要装一个"。

为什么这件事和你有关

过去两年,"AI 看图"这件事一直被云端垄断:你拍一张菜单、一份合同、一道作业题,传给某大厂的服务器,它看懂后把结果发回来。代价有三个——得有网、得花钱(或看广告)、照片离开了你的手机。病历、合同、银行卡、孩子的照片,每看一次就上传一次,很多人心里其实是打鼓的。

端侧模型想解决的就是这件事:把"看懂图片"的能力直接塞进手机芯片,照片不出本机。问题是视觉模型普遍又大又慢,此前能在手机上流畅跑的,要么能力弱、要么只是文字模型。MiniCPM-V 4.7 这次的看点,是把一个350亿参数、能看图能看视频的 MoE 模型压到了手机上还不卡——这是该系列第一次用 MoE 架构做端侧多模态。

两个版本,先搞清楚你该装哪个

这次开源的不是一个模型,是"一大一小"两个,定位完全不同,别下错。

对比项35B-A3B(旗舰版)1B(随身版) 架构MoE 混合专家,每词只激活 8 个专家稠密模型,参数全开总参 / 实际算力352亿总参,每词只动用约30亿约15.5亿(整包含权重大约3.11GB)原始权重BF16 约 70.4GB(服务器/工作站下载)几GB级别手机怎么跑量化 + 专家流式加载GGUF/int4 量化后直接装上下文长上下文256K(约能塞下一本厚书)适合谁新款 iPhone/iPad、有工作站的玩家绝大多数手机、旧设备、想立刻试的人

一句话:想尝鲜、设备普通,装 1B;想体验"手机跑 350 亿"的极限,且手里是 iPhone 17 Pro Max 这类新机型,再折腾 35B 量化版。

350亿怎么塞进手机的?三招

把 70GB 的模型在手机上跑出云端的流畅度,靠的不是玄学,是三个系统级工程技巧的叠加。这也是本次发布最有技术含量的部分。

第一招,MoE 稀疏架构——350亿参数,每次只算30亿。 传统模型每个字都要调动全部参数,350亿就是350亿的计算量。MoE 把参数拆成几百个"专家小组",每生成一个字,路由器只点名其中 8 个专家干活,其余的在内存里"睡觉"。于是存储是 350 亿的体量,单字计算成本却接近一个小模型。

第二招,专家前瞻调度(LES,Lookahead Expert S)+ 分层量化。 MoE 在手机上的真实瓶颈是"临时从内存搬运专家权重"会卡一下。LES 提前预测下一个字要用哪些专家、提前加载,把等待抹平;细粒度的逐层量化再把专家权重压小,让搬运量适配手机内存带宽。这是它能在 iPhone 上喊出 13+ 字/秒的关键。

第三招,DSpark 投机采样。 让一个极小的"草稿模型"先快速跑出候选答案,大模型只负责校验和纠偏,猜对的部分直接采用。两个版本都配套发布了 draft checkpoint,等于用小模型的速度、换大模型的质量。

官方跑分:数字先看,态度保留

官方给的成绩单确实好看,但请记住前面的边界——全部为厂商自测,未经过固定测试框架的第三方独立评测。

35B-A3B 在官方图表中报出:MMMU 80.22、MathVista 88.00、OCRBench 91.20、文档解析 OmniDocBench v1.6 94.24、图表理解 CharXiv 75.60、TextVQA 84.99;官方称在更短推理时间内总分超过同档 Qwen3.6 35B-A3B。1B 随身版报出 MMBench 83.17、OCRBench 86.10、OmniDocBench 85.39,三项均高于上一代 1.3B 级模型(81.89 / 83.80 / 82.52),并称综合表现优于 Qwen3.5 0.8B。

怎么读这些数字?看相对代际提升比看绝对分稳妥:1B 比上一代同尺寸全面涨了 2~3 分,说明小模型这一档确实在变实用。但 OCRBench 这类榜单历来"刷分"空间大,真实场景里的手写体、反光、复杂表格才是照妖镜。建议你拿自己最常处理的那类图(合同、板书、菜单、发票)实测,比看任何榜单都准。

它具体能干什么?普通人的5个用法

抛开榜单,落到日常,这是一个离线的"视觉大脑",官方 CookBook 给出的开箱能力包括:

因为全程在本机,病历、身份证、银行流水这类敏感件,可以放心让它读——这是云端工具给不了的安全感。

怎么装?三条路,从易到难

官方这次生态铺得很全,发布当天 llama.cpp、Ollama、vLLM、SGLang 都已支持,瑞芯微、后摩、Intel、AMD、Arm 也在 day-0 硬件支持名单里。普通人按下面三条路选:

  1. 1. 手机最省事:到开源仓库 MiniCPM-V-Apps 下载 iOS / 安卓 / 鸿蒙 NEXT 的端侧 App(基于 llama.cpp),或照 CookBook 的 iOS quickstart 用 Xcode 装到自己 iPhone;
  2. 2. 电脑一键跑:装 Ollama,一行命令拉取对应 GGUF 量化版,本地起一个 OpenAI 兼容接口,各类客户端直接接入;
  3. 3. 工作站满血:有 70GB 磁盘和高端显卡,用 vLLM/SGLang 跑 BF16 原版,或 AWQ/GPTQ/FP8/int4 量化版。

协议是 Apache-2.0,意味着个人免费用、企业也能拿去改和商用(仍需遵守协议署名要求),不用担心哪天突然收费或封接口。

冷静一下:三个要提醒你的坑

  1. 1. 跑分未独立复现:13字/秒是官方在 iPhone 17 Pro Max 上的自测,具体到你的机型、量化等级、图片分辨率,速度会波动,别把峰值当常态。
  2. 2. 35B 手机版有门槛:70GB 原始权重不是给手机下的,手机上跑的是量化+专家流式版本,吃内存带宽,老机型发热和续航要有预期;日常用 1B 更现实。
  3. 3. 小模型会犯错:医疗、法律、财务这类高风险场景,它能帮你"读懂大意",但不能替代专业判断,关键决策务必人工复核。

结尾:手机正在变成不依赖云的AI终端

MiniCPM-V 4.7 真正的信号,不是又多了一个跑分模型,而是"看图 AI"的主战场正从数据中心搬回你手里这台设备。照片不上云、能力不缩水太多、零订阅费——当 3GB 的小模型都能稳定做 OCR 和文档解析,那些动不动就要联网、要会员、要读取相册权限的应用,多少会有点紧张。

模型已经免费放在那里了。今晚你不妨花十分钟,给手机装一个,随手拍张桌上的东西问问它——那一刻你会直观感受到,"私人 AI"这个词,终于从发布会 PPT 落进了口袋。

(本文事实来自 OpenBMB 官方 GitHub / HuggingFace 模型卡及 CookBook,跑分均为厂商自测、未经第三方独立复现;项目协议 Apache-2.0。)

展开阅读全文

更新时间:2026-10-15

标签:数码   模型   手机   专家   官方   权重   参数   照片   协议   云端   独立

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302035593号

Top