出品人:毛 剑
B站 技术委员会主席
目前就职于 bilibili、任基础架构部、质量保障中心、游戏技术中台总经理,同时兼任技术委员会主席,近十多年的服务端研发经验。  

LLM赋能测试管理

本论坛深入了解 LLM 如何重塑测试策略,从自动化测试脚本生成到智能缺陷预测,开启测试效率与精准度的新高度。探讨 LLM 驱动的自然语言处理技术在测试用例设计、需求分析中的创新应用,让测试流程更加智能流畅。                        
AI大模型驱动的线上质量保障体系进化实践
吕冬冬
快手商业化线索营销方向测试负责人 
内容简介:
客诉是软件测试方向线上质量保障的核心问题,但由于多渠道客诉信息分散、语义复杂、人工处理效率低等特点,使业务无法及时感知和处理,从而导致测试遗漏率高、用户体验受损。大模型凭借其自然语言理解、多模态信息融合及智能决策能力,可重塑客诉处理流程,进而保障测试质量。本次分享将聚焦大模型如何实现线上缺陷自动检测、问题智能分类、及自动响应,助力业务测试过程提质增效、提升客户满意度。 
       
演讲提纲:   
1.线上质量保障的痛点与挑战
1.1线上质量问题召回低效,测试资源浪费严重的现状分析
2.2线下测试盲区无法覆盖的挑战分析
2.大模型在客诉领域的核心应用场景
2.1智能问题分类与优先级判定:基于大模型自动分类客诉至产品设计、系统问题、功能异常、风控安全等维度,并结合测试缺陷修复成本、历史影响范围、情感分析动态划分优先级。
2.2多模态信息融合分析:通过多模态大模型解析聊天文本、日志、语音及用户上传的图像,建立端到端故障链路追踪,提升处理准确率。
2.3测试缺陷挖掘与趋势预测:从非结构化数据中提取关键洞察,关联历史数据,预测潜在风险,并生成针对性测试策略。
2.4自动修复与响应:基于客诉问题自动生成回复话术和测试校验case,自动跟进和修复测试缺陷,缩短人工排查和处理时长。
3.技术实现路径与工具
3.1大模型选型与调优:选择通用模型或垂直领域微调模型,结合RAG+LoRA实现低成本高效调优。
3.2系统架构设计:分层构建,数据层到应用层,测试agent实现全链路客诉问题挖掘->用例生成->缺陷验证修复的闭环
3.3工具链集成:开源框架+企业平台,灵活适配业务需求
4.业务实践效果与价值
4.1测试过程提效:实时监控+ASR+大模型解析,显著提升缺陷召回数量,并提升处理效率
4.2用户体验提升:实时监控+自动回复+缺陷自动验证,提升问题解决效率与客户满意度
5.未来趋势与挑战
5.1全链路可观测性:从代码生成->测试覆盖->线上监控的全流程AI决策链。
5.2伦理与合规风险:数据隐私保护与AI决策可解释性。
5.3人机协同深化:AI处理多数常规问题,测试人工聚焦少量复杂场景问题。

听众收益: 
1.认知升级:理解大模型如何突破传统测试边界,实现线上缺陷高效召回。
2.案例启发:借鉴舆情、客诉等业务方向的最佳实践,规避试错成本。
3.质效提升:通过AI驱动的测试左移与线上监控,降低缺陷漏出率和人力成本。
4.商业价值:将真实客诉缺陷转化为产品优化、服务升级的决策依据。        

南京邮电大学大学计算机系专业硕士毕业,毕业后入职华为、百度、贝壳等公司,现任快手商业化线索营销方向测试负责人。现负责服务端质量保障体系、FT效能提升等专项建设,同时负责AI智能测试技术在质量保障侧的探索、设计与落地,包括智能测试用例生成、需求风险智能分级、AI数字员工、客诉&舆情数据智能挖掘、模型评测等课题,助力产研流程优化、效率提升。
AI驱动的需求洞察与自动化闭环实践
彭华聪
B站资深测试开发工程师 
傅汤毅
B站资深测试开发工程师 
内容简介:
本次分享提出了一种基于AI的提测决策能力和自动化测试设计能力,旨在通过智能化手段优化测试流程、提升测试效率和质量。系统主要包括三部分:需求自测/接测决策、测试设计与计划生成、自动化场景用例生成与智能巡检。系统利用AI模型分析需求特征,包括代码复杂度、业务风险、历史缺陷率等结构化和非结构化特征,输出接测概率并自动推荐测试策略;在测试设计环节,系统通过自然语言处理解析需求文档,自动生成测试用例、测试方案和计划,并结合知识图谱进行关联分析和异常场景推理;在自动化场景生成方面,结合代码变动,并联动apitest平台,自动化生成场景用例并执行巡检。该方案整合了多种技术手段,包括数据收集与标注、特征工程、模型训练以及知识图谱构建等,能够有效降低测试设计遗漏风险,提升测试覆盖率和效率。        

演讲提纲:
AI驱动的三重革新,构建“智能化测试大脑”,形成从需求到交付的全生命周期管理能力
1. 测试智能分级(需求分级、接测分级)
1.1数据驱动决策:基于历史数据与实时反馈,对需求进行精准分级,确保高风险需求优先处理。
1.2动态资源调度:通过AI算法实现自动分配测试资源,打造智能化接测分级机制,最大化资源利用效率。
2. 智能用例生成(用例生成、智能测试报告)
2.1NLP+AI双驱动:结合自然语言处理和深度学习,从需求文档中智能提取关键场景。
2.2自动生成与推理:通过边界条件推理和历史用例匹配,覆盖更多测试场景,并输出智能化测试报告,助力团队快速定位问题。
3. 智能巡检(数据收集与标注)
3.1实时监控与分析:通过AI技术实现自动化的数据采集、标注与分析,打造全流程可视化监控平台。
3.2闭环优化:结合实时反馈持续优化测试策略,确保系统健康运行。

听众收益:
1.如何联动API测试平台实现场景用例自动生成与巡检,缩短测试执行周期
2.通过AI量化需求风险(如代码复杂度、历史缺陷率),自动生成接测概率与测试策略推荐,减少人工判断偏差与决策时间

B站供给生态质量团队资深测试开发工程师、质量保障TC主席。目前主要负责B站内容审核业务质量体系建设和探索。也曾任职阿里巴巴测试开发专家,负责过搜索、实人认证等产品 从事质量工作十余年,经验丰富。
高级测试开发工程师,推进并落地了业务线自动化建设,流水线覆盖,有丰富的的服务端经验及平台建设经验。
从代码框架到智能化测试,UI自动化的建设之路
张永杰
科大讯飞 高级测试工程师 
内容简介:
UI自动化一直都是业界经典的话题,作为最上层的测试,成功的落地实践往往意味着大量人力成本的降低和测试效率的提升;但存在的业务识别门槛和技术门槛,又往往让其难以落地;
无论是基于代码编写的PO设计思想,还是建设UI化的平台,都是在降低门槛,提高可维护性上的尝试选项;
本文介绍了如何从最初的代码框架建设,到借助LLM开始智能化测试的建设之路。

演讲提纲:  
1.背景与挑战:UI自动化为何难落地?
1.1 内部痛点分析
- 多而不精:平行自动化方案多,但质量/可维护性差,难以持续迭代
- 业务需求激增:智能硬件测试需求爆发,传统脚本维护成本高
- 技术演进需求:从代码框架→平台化→智能化的渐进式升级路径
1.2 行业趋势驱动
- 智能化拐点:AI技术(大模型、智能体)推动测试从静态分析向动态执行演进
- 降本增效共识:低门槛、高复用性成为自动化建设核心目标
2.演进路径:从代码框架到智能化的三级跳
2.1.阶段一:统一化代码框架建设
- PO设计模式:分层解耦业务逻辑与页面元素
- 框架标准化:统一技术栈、用例管理规范
2. 2阶段二:平台化升级
- 核心目标:降低技术门槛,提升用例可维护性
- 平台能力:
- 可视化脚本编排
- 云端/本地执行设置兼容
- 基于Git的版本控制
2.3.阶段三:智能化突破
- AI技术融合:大模型驱动的自然语言转低代码
- 动态交互优化:左右分栏“翻译式”脚本编写(自然语言⇋低代码双向映射)
3.关键技术实现与创新
3.1.架构设计
- 整体架构图:分层解耦(前端交互层、AI引擎层、执行调度层)
- 操作流程图:从用例编写→调试→执行→报告的全链路闭环
3.2.核心创新点
- 实时调试:基于Netty和Scrcpy的实时投屏操控  
- 智能生成:大模型语义解析生成可维护脚本(如“点击登录按钮”→低代码)
- 兼容性设计:Git与平台双模式协作,无缝对接CI/CD
3.3.体验优化
-报告增强:Allure定制化报告,增强阅览体验
4.落地效果与数据验证
4.1.技术指标达成
- 效率提升
- 覆盖率提升
4.2.业务试点成果
- 测试场景效能
- 试点业务反馈
5.未来展望:从自动化到自主化
5.1.全链路打通
- 需求→用例自动化:基于需求文档自动生成测试脚本,自动执行
- 自愈能力:脚本失败后AI自主修复定位策略
5.2.大模型深度应用
- 自主探索测试:AI模拟用户行为,主动发现潜在缺陷
- 动态场景适配:适应UI变更的脚本自适应更新
6.总结与互动
- 核心价值:技术演进需贴合业务节奏,智能化是提效的必经之路
- 开放讨论:Q&A环节        

听众收益:  
1.了解UI自动化测试从基础框架到智能化的渐进式演进路径
2.探讨传统UI自动化落地难题的破局思路与实践经验
3.呈现智能化技术在测试领域的创新应用场景      

8年移动端开发测试经验,对各类客户端的UI测试、专项测试、性能测试等,有较为丰富的探索及实践,负责集团基于移动客户端的本地和平台层工具建设,推动测试技术在集团内的推广落地,助力集团测试人员持续提效。
京ICP备2020039808号-4 京公网安备11011202100922号
返回顶部