AiDD研发数字峰会-深圳站

出品人：黎立

北京航空航天大学教授
IEEE TCSE新星奖国内首位获得者

荣获MSR 2023 Ric Holt青年研究成就奖，入选澳大利亚2020年优秀青年基金(DECRA)，曾被评为全球前三最有影响力的青年软件工程研究人员。主要研究方向为AI安全、智能软件工程和移动软件工程，累计发表高水平期刊和会议论文140余篇，谷歌学术引用超6000次（H-index为38），荣获10项最佳/杰出论文奖励，包括2项IEEE TCSE杰出论文奖、2项ACM SIGSOFT杰出论文奖、1项ACM SIGPLAN杰出论文奖以及等。受邀担任中科院一区期刊（ACM Computing Survey）编委以及包括TOSEM、TSE、ICSE、ESEC/FSE、ASE、ISSTA在内的CCF A类期刊和国际会议的审稿人，多次受邀在国际会议上作特邀报告。

大模型安全与对齐

本论坛聚焦于具身智能和大模型加速技术在前沿人工智能领域的突破与实践，涵盖类人机器人智能交互和具身智能的最新研究成果。我们将探讨大模型如何赋能人形机器人在类人垂域中的智能交互与行为决策，同时分享在机器人社交生活中应用具身智能的前景和挑战。此外，论坛还将揭秘大模型推理加速技术的高性能优化路径，探讨如何在计算成本与性能之间取得平衡，为大规模人工智能应用的高效运行提供技术支持。本论坛旨在推动具身智能和大模型技术的深度结合，探索其在未来人工智能社会中的潜力与落地路径。

基于ICL和SFT的大模型越狱攻防研究

贺品嘉

香港中文大学（深圳）助理教授

内容简介：

这份报告聚焦于大语言模型的安全性问题，从安全训练数据的角度出发，通过越狱攻击与防御的方法，探讨了当前大模型存在的潜在安全风险及其应对策略。报告揭示了安全训练数据存在自然语言偏置和拒绝位置偏置两个主要特点。针对这些问题，研究者提出了基于上下文学习（ICL）的测试方法，并设计了基于监督微调（SFT）的优化策略，包括使用非自然语言形式测试模型安全性，以及强化过渡优化技术来提升模型在任意位置的安全能力，从而全面增强大语言模型的安全性能。

演讲提纲：
1、关于大模型安全性的背景介绍
2、自然语言偏置导致的安全风险
3、基于拒绝位置偏置的安全性提升方法
4、总结与展望

听众受益：
1、深入了解大语言模型安全性问题的最新研究进展，掌握当前面临的主要挑战和解决思路。
2、学习创新的模型安全性测试方法，可应用于自身的AI安全研究或产品开发中。
3、获得提升大语言模型安全性能的实用技术和策略，有助于优化模型训练流程,增强AI系统的可靠性和稳定性。

香港中文大学（深圳）助理教授，国家级青年人才。博士毕业于香港中文大学，在苏黎世联邦理工学院任职博士后三年。研究方向为可信人工智能、智能运维、智能化开发、软件测试等。在ICSE, FSE, ICLR等顶级会议期刊发表学术论文50余篇。获得ISSRE最有影响力论文奖，IEEE开源软件服务奖。谷歌学术引用超5000次。主导的开源项目在GitHub上被star 6000余次，并被450多个学界业界组织下载6万余次。他是期刊TOSEM的副编辑，也在四大软件工程顶会担任程序委员会成员。

大模型应用市场安全：研究现状与挑战

赵彦杰

华中科技大学博士后

内容简介：

定制化LLM应用（如OpenAI发布的GPTs）的快速发展，为其生态系统带来了诸多机遇和挑战。本次分享将深入分析LLM应用商店在数据挖掘、安全风险识别、开发协助等方面的关键议题，为未来研究方向提供前瞻性愿景。同时，还将重点剖析LLM应用潜在的安全隐患，如滥用风险、恶意意图和漏洞利用等，并分享相关的研究发现，以提高业界对LLM应用安全问题的认识和重视。通过探讨监管框架和执法机制，旨在为构建一个繁荣、以用户为中心的LLM应用生态贡献洞见与建议。

演讲提纲：
1、LLM应用商店的发展现状：探讨LLM应用的快速增长与主流应用商店概览。
2、LLM应用商店面临的机遇与挑战：分析数据挖掘、安全风险识别、开发协助等关键方面。
3、LLM应用安全隐患的三层关注框架：剖析具有滥用潜力、怀有恶意意图和存在可利用漏洞的应用。
4、针对LLM应用的大规模实证研究：分享基于78万+应用样本的静态分析、动态分析和自动化监控研究发现。
5、LLM应用助长不法活动的可能性评估：评估LLM应用在恶意软件生成、网络钓鱼等方面的风险。
6、亟需加强LLM应用的监管与治理：强调构建稳健的监管框架和强化执法机制的必要性。
7、展望LLM应用的未来：倡导负责任创新理念，加强多方协作，共建健康生态。

听众受益：
1、深入把握LLM应用商店的发展现状、机遇与挑战，洞悉行业动向，为研究方向、产品规划和业务拓展提供参考。
2、全面认识LLM应用安全隐患的三层关注框架，掌握分析工具，了解监管趋势，促进合规化运营和风险防控。
3、学习借鉴大规模实证研究的方法和发现，把握负责任创新和多方协作的重要性，推动构建健康、可持续的LLM应用生态。

华中科技大学网络空间安全学院博士后&武汉金银湖实验室特聘研究员，博士毕业于澳大利亚莫纳什大学。研究领域集中在移动软件工程、移动安全以及大模型的应用与安全，主要目标是研发先进的算法和工具以自动检测或修复软件缺陷和漏洞。至今已经在多个高质量的期刊(如TSE、TOSEM)和会议(如IEEE S&P、ICSE、ASE、ISSTA、WWW)上发表了多篇论文。此外，她致力于探索将大模型应用于软件工程领域的新方法，曾指导学生完成全球首篇大模型在软件工程中的应用综述相关论文并于2024年被TOSEM接收。

研发大模型的安全治理探索与实践

毛哲文

华为云计算PaaS服务产品部首席安全专家

内容简介：

1、研发大模型面临的安全挑战；研发大模型提升了研发效率，但是在提升效率的同时，在传统研发安全的基础上又引入了那些新的安全挑战。
2、针对研发大模型安全，我们应该如何端到端进行安全治理的；
3、具体的探索与实践。

演讲提纲：
1、研发大模型引入的新的安全挑战是什么；
2、端到端研发大模型安全治理框架；
3、研发大模型安全治理具体探索与实践。

听众受益：
1、了解研发大模型带来的新型安全攻击模式以及新的复杂问题；
2、了解在实际的研发大模型服务提供中，研发大模型服务应该怎么努力，用户应该注意什么。

北大研究生，20+安全架构经验，研究领域涉及：云原生安全、软件供应链安全、研发大模型安全、OS安全、数据安全、软件安全工程能力等；曾负责鸿蒙OS分布式隔离与访问控制系统架构设计、鸿蒙应用生态安全架构设计等；个人专利30+。

端侧大模型部署的安全问题探索与实践

周鸣一

澳大利亚莫那什大学博士后
（海外嘉宾）

内容简介：

由于近年来移动端的算力显著增强，开发者逐渐关注将AI模型特别是大模型部署在移动端。端测AI模型不仅能避免将（用户）输入数据传输出设备端，并能在无网络连接下运行。此外，端侧模型的推理延迟相比云端模型也通常更低。然而端侧模型直接部署于设备增加了模型的攻击面，因为攻击者能通过获取设备来无限制访问端侧AI程序，或者直接对其进行逆向工程。因此，解决端侧模型开发与部署中的安全问题显得尤为重要。我们首先系统性分析了端侧AI模型的逆向工程问题，并针对端侧AI开发设计了多种增加逆向工程难度的方法，包括模型混淆、模型定制化等手段。我们的方法在不影响模型推理性能的基础上，显著提高了端侧AI程序的安全性。

演讲提纲：
1、研究框架
2、背景
1）端侧AI模型的定义及优势
2）端侧AI模型的问题
3）现有的简单防御方法
3、研究问题1: 对于端侧AI模型逆向工程问题的探索
1）初步研究：当前方法的问题
2）所提出的逆向工程框架
3）验证结果
4、研究问题2：增加端侧AI模型逆向工程难度的探索
1）保护端侧模型的难点
2）静态模型混淆
3）验证结果
4）静态混淆的问题
5）动态模型混淆
6）验证结果
5、研究问题3: 如何隐藏端侧AI模型
1）显式模型表示的定义
2）端侧AI模型的定制化
3）验证
6、研究总结
7、未来的研究机遇

听众受益：
1、了解当前端侧AI模型部署的现状以及问题
2、了解当前最新关于端侧AI模型部署的安全防护研究
3、了解未来端侧AI模型防护及优化的发展方向

澳大利亚莫纳什大学的博士研究生，研究方向为软件工程、移动软件安全、AI部署以及AI编译器。作为第一作者在软件工程领域于CCF-A类顶级国际会上发表多篇论文并均在大会上作口头展示报告。现为多个国际顶级会议和期刊的审稿人或程序委员。博士期间获得过谷歌会议奖学金，学院博士补充奖学金，莫那什研究生奖学金、IT学院奖学金等。

AiDD峰会

K+峰会

联系我们