乐言科技CTO李波受邀参加云栖大会分论坛主题分享,解读电商AI Agent基座模型迭代下,Harness该如何投入

乐言科技   2026/09/23

9月22日至24日,2026云栖大会120余场论坛交流同步展开,乐言科技CTO李波受邀参与分论坛 Agent Go 开放麦,结合电商场景下的Agent落地实践,深度解读基座模型快速迭代的背景下,Harness该如何投入与治理,企业Agent工程建设该如何演进?

*Harness指代模型之外的所有工程,包含执行循环、工具调用、上下文管理、安全护栏、运行记录等

6-图片1.png

6-图片2.png


随着基座模型能力持续跃迁,Agent业务层的能力边界也随之拓宽,但与此同时,此前大量为了弥补模型短板而开发的工程逻辑会逐步过时、失效,这将会给团队带来新的挑战。

Agent工程如何投入?

乐言科技CTO李波在分享中提到:如今大量的业务代码已经由Coding Agent生成,一天几十次的代码提交成为常态,过去依靠人工读代码、梳理架构来判定系统正确性的方法已经失效。那么现在,判断Agent是否可靠,重心需要转移到它运行时,是否能度量、是否能守住、是否能复盘,成为了验证的三大核心,而Harness的投入方向,也需要从「把路径写对」转到「让系统可判定」。

李波将Agent相关工程的投入划分为三类,给出了不同的应对策略。

1、贬值最快的:硬编码固化的业务执行路径——要按季度重估而不是按年立项;

2、基本保值的:工具与接口、业务信息资产及其生产管线——聚焦描述质量,看最大入口的覆盖情况;

3、事后难以补救的:边界、审计、回滚、度量与回归比对——需要在早期完成布局。

而判断一笔投入是否要继续,要看基模下一代出现之后,它还剩多少价值。

李波还提到,现在的编排框架并未过时,但价值重心已经发生迁移,早期编排更多追求成本可控、每个节点能够单独回归,而现阶段则更要聚焦三大能力:能中断、能回放、能审批,实现任务任意节点的人工暂停确认以及历史状态回放复盘。同时,行业也需要区分两类Agent架构,一类是程序化编排,路径和次序预先写在代码里,可复盘、可测试、可回滚;一类是模型自编排,控制流在运行时由模型决定,执行结束留存运行轨迹,依靠边界和记录做管控。

李波在分享中进一步拆解了两层循环体系,第一层Harness聚焦每一轮任务执行,包括上下文、工具供给、结果接收,它会随着基座模型的迭代持续变化;第二层Loop Engineering负责定义任务起止边界,控制迭代轮次、预算上限等,它由业务自主度决定;两层体系需要分开评估迭代节奏。曾经的评判指标也需要升级,回复成功率、拒答率、单步的准确率、工具和能力数量等等都需要重新审视判定逻辑。

如何构建安全底座?

在边界治理层面,当Agent可以自动修改配置和数据时,必须建立严格的约束规则,边界要覆盖作用域、写入方式、幂等、人工闸门、数据可识别、操作回滚六大维度,并且所有的边界规则都需要可执行的测试用例,代码 Review 的重心,从核对业务代码正确性转变为核查提交是否触碰安全边界。尤其当大量代码由 AI 生成,人工闸门这类保护逻辑很容易被无意简化,仅依靠文档约束已经不足以保障安全。

并且,复盘的能力必须前置设计,事后无法补全。复盘的完整记录包含三个层级:模型上下文、全链路运行记录、外部事实快照(模型版本、阈值、配置等)。自主度越高的 Agent 应用,路径不再固定,对完整记录的依赖度也就越高。同时 “任务流程跑完” 不等于业务真正完成,任务验收不能交由执行方自行判定,证据来源、验收标准、人工审批权责,本质是组织治理命题,而非单纯技术问题。需要警惕自动化流水线 “虚假成功” 的陷阱,机器可判,不等于判定了正确的业务目标,指标通过率必须同步披露其验证范围;自动化率同样不能单独作为评价指标,需要搭配错答率一同评估,规避强模型带来隐蔽错答风险。

“如果缺少有效的度量体系,团队就会陷入只敢新增逻辑、不敢删除旧代码的恶性循环,系统愈发臃肿,交付效率持续走低。” 李波总结道。

6-图片3.png


核心思考:模型迭代下的实践启示

最后,李波分享了三条核心判断:

1、基座模型变强,不会直接让Harness变薄,只会改变内部重心;很多工程是为了模型短板而开发,当短板补齐之后,旧逻辑需要主动清理;

2、Agent自主度和安全边界必须同步提升,即便模型自身能够识别依据是否充足,约束管控也还是要交给人去做,这类能力无法事后补救;

3、失效指标的迷惑性很强,企业要定期重新审视全部质量指标,确认指标实际校验的对象。模型迭代的节奏不由我们掌控,但每一轮模型升级后,哪些工程需要删减、哪些需要补齐、是技术团队可以主动把握的选择。


6-图片4.png


面向电商行业数万商家、千万级用户的真实应用场景,乐言科技与阿里电商+AI云生态深度合作,完成Agent业务全量落地实践。本次分享,也是乐言科技将大规模电商生产场景下沉淀的 Agent 工程化思考对外输出,为行业探索企业级 Agent 规模化落地提供可参考的实践视角。

其他推荐
关注微信

全链路产品

第一时间了解产品新功能

上海乐言科技

追踪乐言科技最新动态

乐言电商汇

学习高质量电商知识