出品人：王俊杰
中科院软件所研究员、
中国科学院青年创新促进会会员
博士生导师，中国科学院特聘研究岗位，主要从事智能化软件工程、软件质量等方面的研究，近年来主要关注移动应用测试、智能软件测试、众包测试等。在国际著名学术期刊/会议发表40余篇高水平学术论文，四次荣获ACM/IEEE杰出论文奖。主持和参与了多项国家自然科学基金项目、科技部重点研发计划等。

LLM驱动测试分析与设计

本论坛专注于利用LLM来革新软件测试领域。此专场将探讨如何通过提示工程、RAG技术等实现测试人员和大模型的人机交互，从而更有效地完成测试分析和测试设计，包括测试用例生成、测试覆盖率优化、性能/安全性/易用性等非功能性的测试分析与设计等关键议题。通过分享LLM在测试设计和分析中的创新应用，此专场旨在提升测试效率，确保软件质量，推动测试技术的智能化发展。
基于多模态大模型的用户界面交互和测试
王俊杰
中科院软件所研究员
内容简介：
本报告将介绍我们研究团队近期利用大模型进行移动应用测试方面的一些工作，探索如何充分利用大语言模型的能力来提升移动应用测试的效果和效率，包括自动生成多样性和复杂性测试输入（相关成果发表在ICSE2023）、GUI测试路径的自动化生成（ICSE2024）、针对GUI输入文本的模糊测试技术（ICSE2024）、以及提升文本输入组件的交互体验（CHI2024，最佳论文提名奖）。这些相关技术不仅能够服务于移动应用测试，相关思路也能支撑其他类型的测试任务。

演讲提纲：       
1、用户界面测试现状和挑战
2、测试输入生成技术
3、面向测试路径规划的自动化GUI测试技术
4、基于多模态大模型的自动化GUI测试技术
5、针对GUI输入文本的模糊测试技术
6、提升文本输入组件的交互体验技术

听众受益： 
1、移动应用GUI测试方面的最新技术
2、大模型应用于GUI测试方面的最新技术
3、软件工程和人机交互领域顶级会议的论文分享
博士生导师，中国科学院特聘研究岗位，主要从事智能化软件工程、软件质量等方面的研究，近年来主要关注移动应用测试、智能软件测试、众包测试等。在国际著名学术期刊/会议发表40余篇高水平学术论文，四次荣获ACM/IEEE杰出论文奖。主持和参与了多项国家自然科学基金项目、科技部重点研发计划等。
AI驱动的测试革命：从效率提升到全流程智能化
刘  鑫
中兴通讯有线研究院测试域
AI应用负责人
内容简介：
聚焦于大型通讯企业在测试活动研发提效过程中所面临的痛点和挑战，并全面介绍大模型在这一领域的AI应用方案。将详细阐述以下几个方面：
1、测试活动研发提效的痛点和挑战：当前测试过程复杂、效率低下、人工干预多、自动化不足以及快速响应市场需求的压力，成为亟待解决的问题。
2、大模型应用于测试研发活动的AI应用方案：通过大模型在需求分析、测试用例生成、脚本编写和结果分析等环节中提升智能化水平，提高效率。
3、测试开发活动端到端AI应用触点工具：介绍工具在项目中的具体应用，从需求获取、测试设计、脚本生成，实现测试开发活动全流程的智能化应用。
4、知识工程建设：详述大模型AI应用在测试开发活动中的实践，包括知识规范、知识抽取、知识库建设、知识评估等，通过知识工程建设提升AI应用的有效性。
5、未来展望：通过AI技术的不断进步，实现从需求分析到用例生成、脚本生成、脚本失败分析的全流程智能化，带来更高的研发效率。

演讲提纲：
1、问题的提出:大型通讯企业产品型号多，交付节奏快，用例交付和脚本交付不满足交付节奏，新形态产品对脚本开发的效率提升带来挑战。
2、解决思路:对比提示工程，RAG,微调方案选择基于RAG方案的测试开发研发改进方案，梳理测试业务活动流的高频场景并基于一站式测试平台将AI能力嵌入研发流程(此处介绍一站式测试平台AI应用)，并围绕知识工程建设持续改进。
3、具体实践:在AI辅助测试设计活动中定义测试用例和测试点知识规范并使用大模型对测试点进行抽取，通过RAG检索能力基于测试点查找复用用例，构建知识评估方案持续对复用性用例召回率进行提升，通过需求实例化的输出基于RAG相似测试点的用例作为one-shot生成文本用例，在AI辅助脚本开发活动中基于自然语言的文本用例通过大模型进行DSL描述转化，通过步骤切片等方案检索RF关键字并生成robotframework脚本,步骤合并后通过大模型对脚本进行整体优化提升脚本生产率。
4、效果评价:基于度量(用例生成率，脚本生成率)呈现AI应
5、总结展望:从实践价值，通用型，技术领先性总结实践价值，并展望从需求到脚本执行分析agent全程智能化。

听众受益： 
1、大模型应用在需求->用例->脚本端到端应用的整体方案，包含围绕知识工程建设改进的多个子活动实践（复用性用例推荐、文本用例生成、脚本生成）；
2、大模型应用在用例、脚本生成场景下的遇到的具体问题和挑战，以及如何应对。         
南京大学硕士毕业，中兴通讯资深软件测试专家，有线研究院技术教练，负责大模型在测试活动中的研发过程改进应用。      
大模型在端到端交互测试的探索与实践
原玉娇
贝壳找房架构师
内容简介：
随着大模型技术的不断突破，测试领域正经历深刻变革，端到端测试流程的重塑成为提升从需求到交付效率的关键契机。在需求初期，借助大模型和领域知识深化需求分析与设计，确保测试目标尽可能准确清晰。随后，接口测试智能化升级，助力RD高效自测，及时发现风险隐患。更进一步，融合多模态技术创新，移动端测试尝试自然语言用例自动生成与跨平台无缝执行，不仅极大拓宽了测试广度，还增强了测试的灵活性与适应性，为生产环境测试效率的提升开辟了全新路径。        

演讲提纲：
1、背景介绍（贝壳大模型技术在测试域落地的演进过程）
2、遇到的问题和痛点（结合大模型应用效果分析个体效率提升到实际需求交付提升的挑战、基于领域知识生成功能用例的现实困难）
3、介绍大模型技术在端到端提效的整体方案
1）重点介绍LLM驱动测试设计和分析、接口智能化测试流程的工业实践
2）引申介绍一下移动端目前探索和应用（不重点展开）
4、当前的效果和分析
5、展望未来

听众受益： 
1、了解大模型技术在测试领域从单点个人提效到全流程协同提效的实践方案
2、重点介绍基于assistant api实现的在需求前置阶段的测试分析与设计方案
3、接口智能化流程测试与研发工具的协同和应用实践
4、结合实际应用效果数据和洞察分析，辅助大家更好的工程化落地
贝壳找房 技术效能-质量架构团队负责人
北京理工大学硕士毕业，目前在贝壳担任架构师，负责大模型技术在测试域企业级的工程化探索和应用，基于“产研域提效场景+领域知识+AI agent”在垂直域实现大模型能力延伸，包括测试需求分析、测试用例自动生成、缺陷追踪和智能定位等，优化协同流程机制、助力业务快速迭代从而提升自动化产能。
LLM 助力测试需求风险识别与测试设计探索与实践
郑  天
字节跳动高级测试开发工程师
内容简介：
质量保障领域，对需求的理解、风险的把控非常依赖质量人的经验和判断，长期以来人工的方式成本高效率低，且容易形成断层。此次分享基于大模型训练，训练质量领域AI助手的实践，介绍如何将AIGC结合到质量保障流程中，风险识别、风险应对、用例生成等，从而实现测试提效。

演讲提纲：
1、测试辅助应用的现状与背景
1）当前业内AI测试应用的现状，各类测试应用投入的收益情况分析
2）我们在测试应用上的探索和成果
3）智能测试辅助应用的重要性
2、辅助应用模型训练
1）特征筛选&数据处理
2）prompt工程&生成策略
3）高效模型选型、超参训练
4）大模型效果调优
3、评测与收益
1）模型训练评估与评测
2）应用落地收益
4、展望
1）全链路AI质量保障构想

听众受益： 
1、了解LLM在抖音质量保障的探索和应用
2、了解LLM模型训练方法和技巧
字节跳动高级测试开发工程师。2021年加入字节跳动用户增长团队，目前负责智能测试技术探索、工具的设计与落地，包括测试用例生成、接口自动化用例生成、需求智能保障分级、需求风险智能识别等。成功孵化多个测试服务落地，获得专利4篇。      
京ICP备2020039808号-4
返回顶部