出品人：卫  科
百度技术中台体系质量团队技术委员会主席
百度技术中台体系质量团队技术委员会主席，多年大数据、AI等系统质量保障经验，目前主要负责飞桨大模型的测试工作以及测试平台的AI原生升级。                                                                                                                                                                           

测试生成与优化

测试超自动化时代已然到来。本专场聚焦AI智能辅助测试设计，及测试序列、数据、oracle的生成技术前沿，包括SBST、数据驱动测试生成、guided-fuzz、LLM-boost测试生成等主题，及其在各测试层级包括API接口测试、系统测试的应用实践交流分享，共同探索测试生成超自动化新范式。                              
大模型助力单测生成                       
王垚儒
字节跳动工程师
目前负责字节跳动IES研发效能团队智能测试项目从0 - 1的建设及落地。聚焦于智能化代码可信体系的探索，主要包括GA，LLM的智能化单元测试生成。一年内：投出论文一篇，字节内部期刊发表LLM相关文章2篇，申请相关专利5篇。                                                                      
内容简介：
单元测试可以提高整个项目的可靠性。传统特智能单测生成，依赖静态分析、动态分析等工具，对不同的语言需要重新适配。随着模型参数规模的提升，模型的代码理解、代码生成能力也大幅提升，使用模型端到端的生成单元测试，可以低成本地将单元测试覆盖到多种编程语言。
然而大模型在单测生成任务上仍存在模型幻觉（随机生成不存在变量名、方法名）和测试分支覆盖不全的问题。通过任务微调、强化学习、langchain等技术可以提升语言模型的单元测试生成语法正确率和分支覆盖率。经过测试，我们的 70 亿参数模型的生成效果整体上不弱于通用版ChatGPT的水平，并且在低端显卡上的推理时延只有ChatGPT的25%。其中java，go,swift上的单测生成任务在业务上均已完成初步落地。                                                                                                                                          
演讲提纲：
1、单测生成背景介绍与单测生成评估指标
2、传统单测生成方法介绍
3、通用大模型的单测生成能力评估
1）Prompt对单测生成的影响
2）代码理解、生成能力评估
3）测试用例生成能力评估
4）通用模型存在的问题
4、如何提升大模型单测生成效果
1）通过任务微调提升分支覆盖率
2）通过强化学习缓解模型幻觉问题
3）通过Langchain外挂知识库缓解context不足问题
5、应用落地介绍与未来展望                                                                                                                                                                                                                              
听众受益：
大模型在单测生成领域存在的问题，以及如何缓解                                                                                                         
智能用例生成：智能用例设计到自动化实现
周梧桐 
百度资深工程师
百度资深工程师，作为项目负责人从0到1建设智能用例生成，并落地到多个业务线的测试中。目前聚焦于智能化测试的探索及落地，在文本、代码生成方向都有深入研究。                                             
内容简介：
智能用例生成作为智能测试中的一个重要环节，在实际的效果和落地中也面临着各种挑战和问题。本次分享将探讨基于大语言模型的智能用例生成探索和落地，如何在智能测试设计中更加理解业务，打通从需求到自动化用例生成的链路，通过在业务中的实践与反馈驱动AI测试能力成长。                                                                                                                                                                                                                                                                                              演讲提纲：
1、用例生成的面对的挑战和问题 
2、问题和解决思路：更懂业务的测试用例设计 
3、Text2Code：从需求到自动化用例生成 
4、智能用例生成的应用
5、总结与展望
                                                
听众受益：
1、测试用例生成方法和思考 
2、 智能测试的应用实践
                                                                                                                         
LLM辅助系统测试脚本代码生成                       
万锐媛
华为智能化测试C-TMG主任，智能化测试专家      
华为公司智能化测试C-TMG主任，研发工具测试技术专家。12年获清华大学EE博士学位，曾赴UC Berkeley EECS访问学者。16年加入华为至今，从事智能辅助测试技术探索、工程工具落地规划、设计，带领团队聚焦LLM&ML智能辅助测试设计、系统测试代码生成、 API接口全场景自主测试，多目标精准回归，测试失败智能定界&RCA等方向，成功孵化多项智能测试服务并规模落地应用，获得华为2012实验室总裁个人奖、金牌团队、光产品线总裁奖、数字能源总裁奖、研发工具领域总裁奖、软件工程能力提升总体组优秀个人等，多次获得华为海盗派重大测试技术突破奖。申请专利8项，已获5项。                                                                                                         
内容简介：
本课题主要介绍LLM辅助系统集成测试脚本代码生成华为实践之路，包括总体方案、AI工程、经验总结等。
本课题应是业界首个针对ICT领域大型复杂嵌入式系统集成测试代码生成为应用背景的AIGC训练、调优、推理及落地各领域产品线实际测试系统开发项目应用的全面系统的探索实践。                                                                                                            
演讲提纲：
1、介绍LLM辅助ICT系统测试脚本代码生成任务背景和特点（面向一方、二方、三方库的测试代码生成）
2、系统测试代码LLM 持续pretrain 和 SFT总体方案
3、系统测试代码生成任务的AI工程
1）数据工程，含43+检查规范和检查&清洗工具
2）prompt工程：系统测试脚本代码生成的提示元模型
3）训练、推理、后处理
4）RAG增强
5）评测指标设计和评估
4、华为数据存储、无线、云核实验效果
5、经验总结：测试业务代码数据质量对结果的影响，基模型的影响，训练手法的影响等
6、future work                                                                                                                                      
                                                                      
听众受益：
学习如何训练和调优测试代码LLM适用于企业特定领域的测试自定义框架和面向自定义测试方法一方库，二方库及三方库的系统级测试脚本生成。                                                                                                             
华为云智能单元测试用例生成实践                       
周建祎
华为云高级工程师      
华为云PaaS技术创新Lab算法工程师，本硕毕业于北京航空航天大学，博士毕业于北京大学计算机学院。博士阶段的研究方向包括测试执行优化和深度学习系统测试，在CCF-A类会议或期刊共发表4篇论文。22年获得博士学位入职华为。入职以后围绕单元测试用例自动生成和自动演化等方向展开工作。近期带领团队探索基于大模型生成单元测试用例的实践。      
内容简介：
随着软件系统规模扩大，保障软件系统正确性需要做的工作越来越多。大量的维护、测试人员投入在保证软件系统的正确性上。业界也逐渐意识到测试左移的重要性。如何自动生成单元测试用例也逐渐成为业界关注的热点。早期，主流的单元测试用例自动生成技术主要利用代码分析技术自动生成单元测试用例，主要面临的技术难点包括：复杂对象构造、多语言拓展、可读性提升等。当下，随着大模型的能力在许多领域取得了突破性进展，传统技术的一些局限找到了更好的解决方案。我们尝试利用之前积累的代码分析技术结合大模型技术，进一步提升单元测试用例自动生成的效果，提升研发和测试效率。本次报告将分享如何利用大模型技术自动生成单元测试用例，以及在华为的落地实践。                                                                                                                                                  
演讲提纲：
1、基于软件分析的单元测试用例技术演进
2、现有技术的痛点
3、基于大模型的单元测试用例生成技术介绍（数据收集，模型训练，如何测评）
4、如何结合软件分析与大模型技术更好地生成单元测试用例
5、总结与展望
                                                                                                                                                                                  
听众受益：
了解如何基于大模型自动生成单元测试用例提升研发效率                                                                                                     
京ICP备2020039808号-4
返回顶部