AiDD研发数字峰会

论坛主席：刘琛梅

绿盟科技研发技术总监，负责绿盟科技“清⻛卫”AI安全产品，防⽕墙产品，进⾏智能体安全、⼤模型安全、AI围栏，⽹络安全的研发⼯作。绿盟科技合伙⼈。曾在华为就职8年，担任测试架构师。《测试架构师修炼之道》作者，总发⾏量超过2.4万册，合著《现代软件测试技术权威指南》，《软件测试之道：那些值得借鉴的实战案例》，是《IOS取证实战》的译者。

绿盟科技研发技术总监

AI Agent评测和质量保障

本论坛聚焦AI Agent的评测与质量保障，致力于构建智能体应用的可信体系。论坛涵盖Agent能力评估、性能基准测试、安全性验证、可靠性保障等核心技术。通过深入探讨多维度评测框架、自动化测试策略、质量门禁设计等关键议题，我们将共同见证质量保障从"人工验证"向"智能评测"的范式升级，确保AI Agent在生产环境的高可靠与高安全。

通用Agent评测探索与实践

王啸

美团基础研发Agent平台部CatPaw评测负责人

内容简介：

随着大模型Agent能力快速演进，如何科学评估其真实水平成为行业焦点。本次分享围绕"通用Agent评测探索与实践"展开，从评测定义出发，系统梳理Agent核心能力方向与关键指标体系，阐述自建评测集的必要性与设计思路；随后聚焦长程任务评测的挑战与解法，深入探讨Harness评测的对比优化，以及Harness与模型联合优化的闭环实践；最后分享Advisor技术评测的前沿探索。听众将获得通用Agent评测业界概览、Harness能力拆解与关键评测洞察，以及Advisor技术评测的实战经验。

演讲提纲：
1.什么是agent评测；
2.agent评测主要包含哪些能力方向&关键评测指标；
3.自建评测集；
4.长程任务评测；
5.harness评测对比与优化；
6.harness&模型联合优化；
7.advisor技术评测。

听众收益：
1.通用Agent评测业界概览
2.针对Harness能力的拆解与关键评测洞察
3.Advisor技术评测

美团基础研发Agent平台部CatPaw系列产品评测负责人，先后在华为、蚂蚁、美团从事测试领域相关工作，在大模型评测，智能体评测，测试领域智能体构建等领域有超3年项目经验。

Agent 驱动的 AI Native软件生命周期端到端质量保障体系建设

唐亮

顺丰科技效能运营

内容简介：

人人用AI提效，团队质量为何没跟上？从「个人提效≠组织提效」根命题出发，拆解规模管控、测试盲区、底座缺失、价值悖论四组困境；提出「把Agent当人管」理念，迁移六个管理动作，落地门禁2.0与ROI度量；以三层架构×生命周期二维落地，用Graph六模式、知识库docs-as-code、系统级三回路把个人红利收拢为组织能力；四案例佐证团队级提效硬数据；给辅助→共生→自治三阶跃迁与管理者五抓手。

演讲提纲：
1.困境：个人提效≠组织提效
1.1根命题——参差的技术前沿（HBS/BCG 758人田野实验：前沿内+40%但人低估只用60%潜力；前沿外+19pp错误率且对错误答案更有信心）+技能压缩（新手+35%、老手≈0）
1.2三重漏电机理——任务耦合漏电（TOC瓶颈转移，7h→4h而非1.75h）、质量漏电（做完≠做对）、能力折旧漏电（判断外包即去训练unlearning，三年结账）
1.3四组困境——规模管控失衡（4077 Agent、仅5%进生产）、AI测试能力盲区（四类）、底座缺失（根因）、价值证明悖论（预防悖论，收口）
2.理念：把Agent当人管
2.1个人vs组织六维对照+三层脱节（45%高管无AI战略、60%员工缺规划、66%领导拒录无AI技能者）
2.2Agent as Employee六动作迁移；门禁2.0（条件边三态+HITL+Checkpoint+客观验证层）；度量升级（决策型+执行型+ROI分级，标杆3.0以上、可用1-3、淘汰0.5以下）
3.实践：三层架构×生命周期
3.1三层架构即Agent组织架构（执行层/资源层/跨切层）；执行层演进链Prompt→Context→Harness→Loops→Graph；资源层五类（Tool/Skill/知识库/Memory/Eval）
3.2Graph六模式+真实平台落地实例（7个Agent×19个交付物即Pipeline+Supervisor编队，门禁引擎作Evaluator条件边跑T4规范+T2业务校验，不过则退回）
3.3Node三约束（防污染/防超量/防越界）；端到端质量流水线（6阶段×门禁）；知识库docs-as-code（二维矩阵，C3解法）；系统级三回路修复三重漏电；Token治理四招
4.案例：四个脱敏佐证
数字员工调度（门禁2.0/客观验证层）、拦截类（门禁挡住逃逸缺陷）、AIOps运行层闭环（34人天/月，意图识别53→82%，ROI≥300%）、知识管理（二维矩阵+90天废弃，C3解法）
5.总结：辅助→共生→自治三阶演进+管理者五抓手；金句——质量团队做加速器上的刹车片，不是马路边的交警

听众收益：
1. 拿到一套「把Agent当人管」的可执行管理清单——六个管理动作如何逐项落地到Agent工程，缺哪件乱哪件，回去即可对照自查团队。
2. 掌握Agent驱动质量保障的技术底座——三层架构、Graph六模式、门禁2.0条件边三态、知识库docs-as-code，知道从「能跑」到「可控」该建什么。
3. 学会用ROI分级度量破解预防悖论——把「数拦截bug」的成本中心指标改成加速器指标，向决策层证明质量团队价值。

- 现任：顺丰科技｜效能运营
- 经验：AI4研效、DevOps与数字化转型
- 方向：AI赋能软件工程、BizDevOps/DevOps平台、效能度量与数据驱动运营、价值流与投产有效性变革

AiDD峰会

K+峰会

联系我们