AiDD研发数字峰会-上海站

议题提交

出品人：李志

出品人：朱思语

字节跳动业务测试负责人

复旦大学教授

字节跳动某业务测试负责人，前华为云核业务线测试负责人

复旦大学人工智能创新与产业研究院研究员，长聘正教授，博士生导师。

字节测试专场：AI-Powered/Smart Generation

本论坛聚焦在大语言模型(LLM)在数据智能创建与分析领域的前沿实践。本论坛将深入探讨LLM如何革新测试数据构造、用例自动生成、复杂数据分析及性能诊断等关键环节，展示从十亿级产品测试到全球化场景文本生成的实战案例。与会者将了解LLM如何突破传统数据处理瓶颈，实现从智能分析到决策推荐的全流程赋能，为企业数字化转型提供切实可行的技术路径。本论坛汇集国内头部企业字节跳动公司的领先实践，助力参会者把握AI驱动数据智能的未来发展方向。

十亿级产品在LLM驱动下的测试数据构造

杨鹏宇

字节跳动测试专家

内容简介：

本次分享的主题是AIDataGen, 即利用大语言模型(LLM), 根据QA一句话描述生成构造测试数据的解决方案。LLM生成的测试数据经过线上验证，能达到xx%的需求满足率，显著提升了QA的测试执行的效率。我们将分享AIDataGen的系统架构、效果调优的迭代过程和产品化落地的方案。

演讲提纲：
1.背景介绍，介绍AIDataGen解决的问题，输入和输出是什么
2.架构设计，介绍AIDataGen的多Agent架构设计
3.介绍AIDataGen的优化经验，包括：
3.1 Prmopt设计和调优经验
3.2数据构造原子构建和RAG应用方案
4.产品化方案，包括：
4.1如何将LLM构造与现有的用例编写流程整合
4.2数据构造的产品应当提供哪些能力
4.3我们应用的产品形态

听众收益：
1.了解通过LLM构造数据的最佳实践
2.了解我们在实践中总结出的LLM应用开发和优化经验

字节跳动-资深测试开发工程师，曾就职于饿了么-B端测试质量保障工作。2020年加入字节跳动，从0到1建设AI数据构造能力，帮助QA降低数据构造成本、提高测试效率。

全球化产品下的LLM文本用例生成

邹祎

字节跳动测试开发专家

内容简介：

本次分享的主题是PRD2Case, 即利用大语言模型(LLM), 根据需求文档(PRD)生成文本测试用例的解决方案。LLM生成的测试用例经过线上验证，能达到xx%的采纳率，显著提升了QA的测试用例编写效率。我们将分享PRD2Case的系统架构、效果调优的迭代过程和产品化落地的方案。

演讲提纲：
1.背景介绍，介绍PRD2Case解决的问题，输入和输出是什么
2.架构设计，介绍PRD2Case的多Agent架构设计
3.介绍PRD2Case的优化经验，包括：
3.1Prmopt设计和调优经验
3.2Finetuning思路和训练经验
3.3知识库构建和RAG应用方案
4.产品化方案，包括：
4.1 如何将LLM生成与现有的用例编写流程整合
4.2文本用例生成类的产品应当提供哪些能力
4.3我们应用的产品形态

听众收益：

1.了解通过LLM生成文本测试用例的最佳实践
2.了解我们在实践中总结出的LLM应用开发和优化经验

字节跳动测试开发工程师，在算法测试、自动化测试、测试工具开发和LLM应用方向有丰富的经验。

使用LLM在复杂场景下数据分析和查询的应用落地

曹冬东

字节跳动资深测试开发专家

内容简介：

本次分享的主题是AI Report，即利用大语言模型(LLM),根据用户的提问生成数据查询结果和数据分析报告的解决方案。LLM生成的数据查询结果和数据分析报告经过线上验证，能达到xx%的采纳率，显著提升了QA在质量运营上的能力。这次我们将重点分享本方案的原子能力TextToSQL的系统架构、效果调优的迭代过程和产品化落地的方案。

演讲提纲：
1.背景介绍，介绍AI Report解决的问题，输入和输出是什么
2.介绍该场景下的挑战和难点
2.1用户输入简单且不完整
2.2模型幻觉问题解决方案
2.3不稳定的SQL输出
2.4结果可靠性和可追溯性
3.架构设计，介绍TextToSQL的多Agent架构设计
4.介绍TextToSQL的优化经验
4.1Prompt设计和调优-层次指标思维链
4.2知识库构建和RAG应用-RAG优化
4.3整体系统架构设计
5.产品化方案
5.1AI Report如何和现有工作流程相结合
5.2AI Report需要提供哪些能力
5.3AI Report应用的最终产品形态

听众受益：
1.了解通过LLM在TextToSQL应用上的最佳实践
2.了解我们在实践过程中总结出的一些优化经验

字节跳动资深测试开发专家，从事测试开发工作10余年的时间，在算法测试、自动化测试、测试工具开发和LLM应用方向有着丰富的经验。

抖音性能LLM分析体系建设：从智能诊断到决策推荐

李文博

抖音测试开发专家

姚凡

抖音测试开发专家

内容简介：

本议题将探讨LLMs在性能分析场景的创新应用。传统的性能分析存在人工分析效率低、故障根因定位难、决策依赖经验等痛点，本议题将分享一套AI驱动的智能分析与策略推荐的体系，探讨解决方案、业务落地场景与未来规划。

演讲提纲：
1. 背景
1.1用户体验与App性能优化的重要性
1.2当前性能优化的挑战与痛点
1.3为什么需要引入大模型做智能分析？
2. 解决方案
2.1整体解决思路
2.2技术架构
3. 核心模块拆解
3.1智能诊断
-现状 & 痛点
-解法：实现思路、应用场景
-实践案例与效果展示
3.2策略推荐
-现状 & 痛点
-解法：实现思路、应用场景
-实践案例与效果展示
4.未来规划

听众受益：
1.深入了解大模型如何赋能App性能优化，帮助团队提升效率并降低优化成本；
2.学习如何有效利用历史优化数据，建立智能化的优化知识库和归因推荐体系。

毕业于悉尼大学计算机专业，毕业后即加入抖音，现就职于抖音基础体验团队，专注于客户端性能体验分析、测试效率优化等专项技术。

毕业于悉尼大学计算机专业，现就职于抖音专项测试团队，负责抖音体验平台的性能诊断、大模型应用等方向的开发工作。

AiDD峰会

K+峰会

联系我们