内容简介:
代码大模型在程序生成等任务上不断取得新的突破。然而现有技术通常面向通用领域、常规算法和开源数据,缺乏特定业务领域(如游戏、网络、数据库等)的知识和数据,从而在专用领域上表现欠佳。本报告介绍我们在专用领域代码大模型方面的探索,包括知识融合、数据增强、任务适配等。为代码大模型在业务领域上的落地提供经验和建议。
演讲提纲:
本演讲将分享我们在专用领域代码大模型方面的研究经验。首先,分析现有大模型在专用领域程序生成上面临的问题和挑战。接着,介绍我们针对大模型面向业务领域提出的几点改进方案:
1、领域知识增强:设计自动化知识提示,将领域知识和大模型代码生成相融合;
2、业务知识增强:将程序分解为任务流(思维链), 微调思维链而不是目标程序, 提高表达式生成的准确率;
3、领域数据增强: 采用程序嫁接思想扩充领域代码数据,提高代码检测任务的准确度。最后,分析业务领域代码大模型面临的挑战并对未来工作作出展望。
听众受益:
1、获得代码大模型在专有业务领域的最新研究进展
2、代码大模型与领域知识融合的经验
上海交通大学软件学院副教授,博士生导师。
长期从事智能软件工程领域的研究工作,包括代码大模型、程序自动生成、代码翻译、代码搜索等。在ICSE、FSE、ASE、TOSEM等顶级学术会议和期刊上发表学术论文30余篇,主持和参与多项国家自然科学基金、国家重点研发计划、国防课题等。并与华为、宁德时代、腾讯等企业开展广泛的产学研合作。