复杂ToB业务场景下的AI Native Test Harness 架构和实践:
以跨代码仓库知识图谱为知识底座
内容简介:
我们对 AI Native Test 的理解,落在一个具体选择上:让测试同学在本地为Code Agent(LLM + 内建 Harness)配备一套由 agents / assets / skills / specs 四件套构成的 User-Defined Harness,把测试领域知识、流程纪律与工具能力沉淀其中,按业务演进的节奏在本地持续热迭代。
这套 Harness 立在两根支柱上。
1. 一套可自演进的多 Agent 测试架构:从编排准入、代码级静态 review,到 E2E 分析、用例生成与执行,再到执行反思,各 Agent 单一职责、显式契约;反思 Agent 把改进需求回流,测试同学在本地热迭代 agents/skills/specs,让整个架构形成自我进化的 Agentic loop。
2.跨代码仓库知识图谱:复杂 ToB SaaS 是多端多服务的分布式系统,影响面、合约、调用链天然跨仓,单仓视野不足以支撑测试判断,因此我们用全局合约级图谱作为 Agent 的知识底座。本议题完整分享这套架构,并以一次脱敏的真实跨端变更复盘其端到端链路。
演讲提纲:
1.痛点与架构选择:复杂 ToB 业务系统测试的真实痛点——一次改动牵动多端多服务、影响面跨仓、回归难覆盖难定位;以及我们的选择——测试同学在本地给Code Agent,配一套包括agents / assets / skills / specs 四件套的 User-Defined Harness,按业务节奏在本地持续热迭代
2. 测试 Agent 架构:职责清晰的 6 个测试 Agent——编排准入、代码级静态 review、E2E 测试分析、E2E 用例生成、E2E 执行、执行反思每个单一职责、显式 I/O 契约;执行反思 Agent 把改进需求回流、测试同学在本地热迭代,使整套架构成为可自演进的 Agentic loop,并配以""独立产出、不维护跨 Agent 中间账本、少通信""的协作纪律
3. 知识底座:上述 Agent 要做准确的影响面判断,就必须有跨仓全局视图——为什么""跨代码仓库知识图谱""不可绕过:复杂 ToB SaaS 下影响面、合约、调用链天然跨仓,全局合约级图谱是单仓视野必须补齐的一环,也是测试 Agent 静态分析与用例设计的知识来源
4. 脱敏落地复盘:一次资金/账务类的真实跨端变更走完整 loop——牵动多个服务、多条跨仓合约边,从代码 diff 到最终准入结论,配合量化结果(识别出的风险点 / 高优问题计数)谈实战取舍与坑
听众收益:
1. 拿到一套可自演进的多 Agent 测试架构参考:6 个 Agent 的职责切分与显式 I/O 契约,以及"执行反思 → 本地热迭代"的闭环怎么让架构持续进化,可直接作为团队 Harness 建设蓝本
2.看到「本地 Code Agent + User-Defined Harness」范式的完整样貌,理解四件套(agents / assets / skills / specs)如何承载测试知识、并随业务热迭代
3. 跨代码仓库知识图谱的方案选型、工具构建、为什么把ta作为复杂分布式系统 AI Native Test 的知识底座,以及测试 Agent 如何把全局合约级视图转化为可执行的测试判断
深耕质量工程与测试开发多年:曾在高德、蚂蚁先后任职测试开和效能工具架构师。2019 年加入京东,历任测试架构师、测试开发团队负责人,主导多条核心业务线的测试体系与效能建设。目前聚焦 AI Native Test 方向,在复杂 ToB SaaS 业务下探索 AI Native 的测试范式,以跨代码仓库知识图谱为底座构建可自演进的多 Agent 测试架构,推动测试从人工驱动向 Agent 驱动持续演进。