弱模型 + 强 Harness:Model+Harness 的乘数效应

同样是DeepSeek,换个壳效率能差出一大截。这是Harness系列第4篇,前三篇讲了Harness是什么、架构怎么拆、循环怎么转,这篇上实测数据,看乘数效应到底长什么样。

我以前也天天问哪个模型编程最强,直到看到有人花126元、烧7.86亿Token做了个实验,才发现这个问题从一开始就问错了。

前三篇讲机制,这篇上实测数据

实验很实在:10个Coding Harness,分别搭载两个模型,从零完成同一个原生iOS App。20个运行案例,两轮独立复测。测的不是一道算法题,而是一个Agent能不能把产品做出来、跑起来、测明白,并留下可信证据。

任务是个极简的花卉相机App:选照片或拍摄,发给多模态模型,输出花名、置信度、花期、养护建议,结果自动保存,重启可恢复,能看历史能改能删。听起来不大,但横跨了真实开发最容易翻车的几层:相机相册、图片压缩、多模态请求、格式解析、异步重试、本地持久化、界面无障碍、密钥安全、单元测试和端到端验证。比补全一个函数更接近真正的问题:如果把产品目标交给Agent,它能不能端到端交付。

评分100分制:核心功能30,健壮性15,交互15,代码质量15,测试10,外加真实API验证。Agent自己写的开发报告不算数,只看跑起来的东西。

别问哪个模型最强,问错了问题

先说结论。如果只看模型跑分,很容易把Coding Agent理解成模型加代码编辑器。但真实项目里,最终结果至少同时取决于四件事:模型乘Harness乘工具环境乘验证体系。

同一轮里,所有Harness用相同模型、相同任务、相同接口,最终正式分从40分到95分,相差55分。更有意思的是,两轮各有6个候选完成严格的真实产品闭环,数量一样,但成功名单变了。也就是说,同一个模型并不能自动带来相近的工程结果,同一个Harness换一个模型,结果也可能完全不同。

这话值得多品一会儿。我们平时讨论模型排名,默认底座决定一切。但实验告诉我们,底座只是四个乘数之一。任何一个乘数拉胯,总分都起不来。说到底,Agent的能力不是模型权重这一个变量的属性,而是模型和Harness这对组合的属性。

同一个模型,换个壳能差55分吗?

能,而且差在哪都有名有姓。我用Claude Code接DeepSeek的时候,总有一种隔了一层的感觉:它下意识按Claude的思路来,任务一复杂就容易绕、容易卡。换成DeepSeek Harness之后,同样的活儿体验完全不一样。

另一场对比实验里,同一个模型从14个通过涨到20个,秘密就在主循环插件写得好:任务拆解、工具选择、错误重试,每个环节都是插件拼出来的。换套插件组合,分数直接涨一截。真正值钱的不是你用了什么模型,是你怎么搭这个壳。

模型决定下限,Harness决定上限。成品工具是装完就用,开发者底座是给你一套能自己搭技术栈的零件。内部的说法是,他们不是在做一个更好的Copilot,是在做Agent界的Linux。这个定位一摆出来,路线就清楚了:不争一时一模之长短,争的是谁的壳能让更多模型发挥上限。

模型定下限,但上限是Harness定的

论文界也有了呼应。有篇论文开篇判断很直接:智能体的能力,并不只由底座模型决定。同一份模型权重,套在不同的执行框架下,成绩可以相差十几分甚至二十几分。

论文把Harness拆成四个模块:记忆决定历史怎么压缩,规划决定任务怎么拆解、下一步做什么,动作决定每步用什么格式调工具,编排决定哪个节点暴露哪个工具。这四个模块合起来,决定了智能体一次任务里的全部执行方式。

过去几年,主流产品里这层壳都是工程师提前手写好的,写完基本不动。论文把这种范式叫做提前生成,对应编译里的提前编译。问题在于:写一套跨任务通用的框架工程量极大,新任务来了要么改代码要么重写,而不同任务需要的先验完全不同。

手写一套通用框架,其实是提前编译的老路

论文提出的解法是按任务动态生成:接到任务,先生成一套专属Harness再开干。记忆怎么组织、规划怎么拆、动作什么格式、哪个节点暴露什么能力,全部按当前任务现配。不换模型,就换壳,照样碾压一众成品。

这个思路的本质,是把Harness从静态资产变成动态过程。提前编译追求一次写好到处跑,即时生成追求每次现配最合适。前者省在复用,后者赢在贴合。任务越特殊,现配的优势越大。

我自己体会最深的是,动态生成把试错成本打下来了。以前调Harness是改代码、重启、重跑一条龙,现在是换任务自动换壳。对小团队来说,这意味着不用养一套重型框架,接到什么活配什么壳。

国产黑马能打,靠的不是模型

再看个国产例子。有个框架身上两样东西有意思:蜂群拆任务并行干,自进化越用越懂你。拿三个真实的活实测,效果很说明问题。

找工作的活最典型:每天自动扒岗位、筛匹配度、按JD改简历。关键细节是它主动建议做成自动化加人工确认两层:机器负责搜、配、生成,真正投递那一下必须人手动点。因为全自动投递容易被平台风控,账号冻了更麻烦。你看,这不像只会执行的工具,像个老司机先帮你把坑排了。

每天上午九点自动抓岗位,过评分模型,筛出候选,生成候选池报告直接推送。岗位按四档分级,附公司薪资匹配度和推荐理由,一眼看出今天最该投谁。从每天刷一小时变成早上看一眼报告点两下确认,脏活累活全被接走。

旅游手册的活也一样:信息散在各个App里,自己攒半天搞不定。它直接出成品,取景地标地址交通费用,还配电影画面。攻略这种散装信息,最考验的是搜集加组织,恰好是好Harness的舒适区。

这两个活用的都不是最顶级的模型,但闭环完整:需求确认、自动执行、人工拍板、结果推送。模型的下限够用,Harness把上限撑起来了。

判断很简单:别再只盯着模型榜单,把四个乘数一个个拧紧,弱模型也能打出强结果。

展开阅读全文

更新时间:2026-10-05

标签:科技   乘数   效应   模型   底座   工具   上限   框架   真实   下限   论文   代码

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302035593号

Top