AiDD研发数字峰会-北京站

出品人：单虓晗

1.华为 8年，一线研发 → 部门负责人 → 软件工程专家，主导网络操作系统、终端EMUI等千人级研发团队的研发模式&工具的规划设计、落地实施。
2.蚂蚁集团 3年，主导研发数字化、智能化建设（蚂蚁研发洞察体系），主要包括：
•管理辅助：度量产品与指标体系建设；数据驱动业务提效 + DevOps工具链优化
• 研发辅助：AI + 工具链建设，覆盖CI分析、链路排障、研发答疑等场景
3.现就职于字节跳动，任资深研发效能架构师，负责公司级研发效能提升工作，主要包括：
• 效能度量体系的建设与推广（字节 DevMind 体系）
•效能平台与最佳实践的建设与推广
• 重点业务线效能洞察与提升
• AI X 研发提效实践的探索与应用

字节跳动资深研发效能专家

字节专场：AI助力效能提升实践

都说2023年是“大模型”元年，2024年是“AI Agent”元年，字节跳动自2023年起便积极布局AI在研发效能领域的应用，持续探索AI如何深度赋能软件研发全流程。本专场将系统分享字节在编码、测试、度量等关键方向的阶段性成果与实践经验，聚焦大模型与AI Agent在真实业务场景中的落地路径与提效价值。

需求分级遇瓶颈？智能精准分级测试破局提效新范式

萧海霞

字节跳动资深测试开发专家

内容简介：

1.背景：人效提升大背景下，测试领域AI应用需求智能分级逐渐面临提效瓶颈，基于中高风险需求有效提效诉求日益迫切背景下，需求功能模块拆分精细化测试AI应用应运而生
2.方案：通过构建知识库，通过PRD将需求拆分业务相关模块，通过预测需求功能模块风险程度，高风险模块保持传统测试模式，低风险模块降级免测，从而减少模块测试投入的无效人力，进一步提升测试高效性

演讲提纲：
1. 现状：低风险提效瓶颈，随着业务质量成熟，兜底完善的低风险功能点日益增多。整体中风险QA估分投入占比41.25%，少bug（＜=2）需求QA估分投入估分占比10.5%。中风险需求可降级空间大，且风险可控。
2. 如何对中高风险需求提高测试高效性：中风险降级方案呈现、当前模型效果、模型效果度量指标体系
3. 落地实践：落地应用范式：a）知识库构建 b）需求&缺陷分析 c）业务接入运营范式 d)风险降级兜底
4. 遇到的问题：知识库质量问题？降级风险问题？
5. 推广规模、应用模型效果呈现，业务应用投入收益

听众收益：
1. 当前人效提升进入瓶颈，提效诉求强烈
2. 整理落地推广流程不明确，不知道如何应用
3. 效果不好，问题分析不明确，苦哈哈训练模型，未看清根本问题

近10 年互联网大厂经验（京东 / 滴滴 / 字节），现任字节资深测试开发专家，深耕用户增长营销中台广告投放业务。主导 AI 测试领域工具落地实践，推动低风险需求免测、模块拆分提效等工程化方案，具备从业务场景到技术落地的全链路经验。

基于大模型的文本测试用例生成探索与实践

黄修添

字节跳动算法专家

内容简介：

在测试领域，传统的用例设计主要依赖人工经验，耗时长且容易遗漏潜在测试场景。在大型复杂系统中，需求文档（如 PRD）常常包含大量文本描述，如何快速、高效地从这些描述中生成丰富、准确的测试用例，成为亟待解决的难题。
本次分享主要涉及项目落地过程中遇到的难题及解决方案。针对传统测试用例生成存在的瓶颈和主要挑战（如需求理解不足、用例多样性 & 覆盖率有限），探索解决方案，通过提示工程（Prompt Engineering）、任务特定微调、场景上下文嵌入、人机交互等方式，驱动模型从需求文档、历史用例、业务领域知识等多源文本推理生成高质量测试用例。

演讲提纲：
1. 现状：随着业务复杂度提升、需求量增加，确保软件质量变得愈发重要。传统手动编写测试用例方式耗时耗力，难以覆盖实际业务逻辑与各种边界场景。
2. 目标&挑战
- 目标：降低手写文本测试用例的成本，自动生成高价值、高覆盖率、高业务贴合的测试用例，提升研发效率与测试质量。
- 挑战：
- 数据质量：如何快速收集业务领域数据，为下游模型微调和适配提供基础。
- 生成效果：面对复杂、变化多样的业务场景，如何保证生成用例的高采纳率和高覆盖率。
- 多语言适配：支撑中、英等多种语言的文本用例生成。
- 知识融合：如何引入额外补充信息进一步提升用例生成效果。
3. 技术方案：涵盖需求文档解析、提示工程、训练数据收集、大模型微调、工作流优化等完整优化手段。
4. 落地效果：当前产品真实落地效果。
5. 总结&规划：下一步目标和规划。

听众收益：
1. 激发听众对 AI 智能测试等更多创新场景的思考。
2. 学习如何基于大模型实现高质量、规范化的文本测试用例自动生成，并理解其背后的原理和操作流程。
3. 分享实际项目中的应用案例与踩坑经验，帮助听众规避常见问题，少走弯路，减少模型应用落地的阻碍。

先后在蚂蚁集团支付宝技术部和研发效能部任职，现任字节质量工程智能团队算法专家。在智能化测试、舆情风险挖掘、智能问答等场景上有丰富的实践经验。

基于Agent架构的单元测试落地实践

赵亮

字节跳动质量效能专家

内容简介：

在软件开发的生命周期中，自动生成单元测试成为提高代码质量和开发效率的关键技术。本产品基于大模型技术结合深度程序分析，针对字节研发内部需求，实现存量及增量单元测试的自动生成。通过真实业务流量采集、司内单测框架能力和路径提升技术，本产品能有效解决单元测试的用例真实性和覆盖率问题，提升测试用例的生成效率和代码覆盖率。此外，产品还包括断言工程、语法修正技术和效果度量，确保测试的准确性和可靠性，在支持快速迭代的开发流程中，显著提升研发效率和降低迭代周期。

演讲提纲：
1. 现状：介绍当前业务整体历史原因及日常研发当中编写单测对业务效率的影响，经历了一年多的单测生成技术的经验积累及试错重构了智能化的单测生成能力。
2. 目标及挑战：
2.1目标：降低研发编写单测耗时，生成高价值用例，打造智能化更懂用户的单测生成效果。
2.2挑战：
- 数据要求：要求生产的用例数据真实度完全贴合业务语义，同时需要构建出高质量的训练数据提升模型效果。
- 模型生成效果要求：在模型生成效果上对准确率、语义理解以及生成的通过率的要求。
- 跨语言：在保障效果不劣化的情况下实现多语言的快速拓展。
3. 数据质量提升
3.1数据充分度提升
3.2等价类提升思想
3.3模型与程序分析的融合
4. 模型生成效果提升
4.1基于Agent的架构设计
4.2数据工程建设
4.3PE工程及模型微调
4.4 评测工程建设及效果
5. 效果度量及演示
5.1多场景及效果介绍
5.2用例生成演示
6. 总结及规划
6.1 产品总结
6.2后续规划

听众收益：
1.服务端自动化专家：了解单元测试建设的新思路，提升业务单测生成质量和效率，行业间交流，扩展提效工具建设思路。
2.质量智能化专家：拓展研发质量在智能化建设上的思路，挖掘更多智能化在研发质量建设的新方向。

先后在蚂蚁集团余额宝质量技术和研发效能任职、现就职于字节质量保障团队，现任字节质量内建智能化场景技术负责人，曾发表4篇国家技术专利。在质量技术、程序分析以及智能化相关场景的应用上有丰富的项目经验和落地成效。

AiDD峰会

K+峰会

联系我们