AiDD研发数字峰会

出品人：高翠芸

哈尔滨工业大学（深圳校区）计算机科学与技术学院教授，哈工大青年拔尖人才。主要研究方向为智能化软件工程、软件可靠性、软件安全。近年来在TSE、TOSEM、ICSE、FSE、ASE等会议和期刊上发表论文90余篇，是多个顶级会议如FSE、ISSTA、ASE等的评审委员会成员。荣获ICSE 2024和ASE2023杰出论文奖，指导学生获得ACAIT2022最佳学生论文奖，授权发明专利30余项。

哈尔滨工业大学（深圳）教授、博导

可信AI安全工程

论坛聚焦AI系统的安全性、鲁棒性与可解释性，涵盖对抗攻击防御、数据隐私保护、输出合规审查与模型溯源等关键技术。构建覆盖全生命周期的可信AI工程体系，保障AI在关键场景中的可靠运行。

面向自动驾驶场景的安全关键数据合成

李渝

浙江大学百人计划研究员

内容简介：

自动驾驶系统的安全性不仅取决于感知与决策算法的性能，更取决于其在复杂环境下对安全威胁的抵御能力。本报告将聚焦两个前沿挑战：其一是对抗涂装的生成，即通过在物理世界中对车辆等目标进行对抗性涂装，使感知模型出现误识别或漏检，从而对自动驾驶安全构成实质威胁。其二是安全关键数据的生成，在真实事故或极端场景难以全面采集的情况下，如何利用生成式人工智能构建高保真、覆盖极端边界条件的安全关键数据集，成为验证与提升自动驾驶鲁棒性的关键环节。报告将结合最新研究与应用实例，探讨对抗样本物理化、生成式数据增强与安全验证的统一框架，为构建可验证、可追溯、可扩展的自动驾驶安全保障体系提供思路。

演讲提纲：
1. 自动驾驶安全挑战北京
2. 对抗涂装：物理世界的安全威胁
3. 安全关键数据生成：覆盖极端场景

听众收益：
1. 了解自动驾驶面临的物理世界对抗性攻击手段
2. 掌握安全关键数据生成在测试与验证中的价值
3. 获得应对对抗威胁与数据稀缺的系统性思路
4. 借鉴生成式AI在安全保障中的应用前沿

浙江大学百人计划研究员。2022年于香港中文大学（2023 QS排名38）计算机科学与工程系取得博士学位。2022至2024年任哈尔滨工业大学（深圳）计算机科学与技术学院助理教授（鹏城孔雀特聘岗位C类）。电子科技大学和鲁汶大学（2023 U.S. News排名50）双学位全奖本科。鲁汶大学全奖硕士，由鲁汶大学与欧洲微电子中心IMEC联合培养，师从集成电路测试领域IEEE Fellow Erik Jan Marinissen教授和焦海龙教授。主要从事国际热点科学问题机器学习软硬件安全测试与优化方法研究并取得一系列原创性成果。截至目前，已发表相关学术论文20余篇，其中一作/通讯9篇，CCF-A类论文8篇，包括硬件测试领域旗舰会议DAC/DATE/ETS/VTS，安全领域顶级旗舰会议CCS/NDSS，机器学习旗舰会议NeurIPS/ICML/IJCAI，软件工程旗舰会议ISSTA等。担任多个国际顶级会议/期刊审稿人，包括NeurIPS，ICML, ICLR, AAAI, ACSAC, Euro S&P, TCAS-I等。获得了2022年亚洲测试会议（Asian Test Symposium）最佳博士论文奖，IEEE测试技术委员会（TTTC）E. J. McCluskey博士论文奖决赛第三名。

大模型及大模型智能体安全

王文轩

中国人民大学讲师

内容简介：

本次演讲将系统探讨大模型及其智能体面临的核心安全挑战。内容聚焦两大维度：一是大模型内容安全，涵盖确保输出无害的内容无毒性，以及使模型价值观符合人类预期的内容对齐性的评测与治理。二是大模型智能体安全，以GUI Agent为例，重点分析其面临的内部威胁与外部威胁，并探讨相应的防御思路与评测基准。旨在勾勒从模型内容治理到智能体行为风险防控的安全研究蓝图。

演讲提纲：
第一部分：引言：智能新时代的安全基石
1. 开场：从ChatGPT、Sora、GPT-4o等大模型带来的变革切入，引出其无处不在的应用前景。
2. 核心问题：能力越强，责任越大。大模型及其智能体是否安全、可靠、可控，已成为其发展的关键瓶颈。
3. 演讲路线图：简要介绍本次演讲的两大核心部分——大模型内容安全与大模型智能体安全。
第二部分：大模型安全的核心：内容安全
1. 内容安全的双重目标：无毒性 & 对齐性
2. 支柱一：内容无毒性
2.1 定义：确保模型输出不包含仇恨、暴力、歧视、色情等有害信息。
2.2 评测与治理维度：
- 语言无毒性：针对单一语言的毒性检测与过滤技术。
- 多语言无毒性：挑战在于不同文化语境下“毒性”的差异性，以及低资源语言的安全漏洞。
- 多模态无毒性：扩展至图像、视频、音频的生成内容安全（如深度伪造、有害图像生成）。
3. 支柱二：内容对齐性
3.1 定义：使模型的价值观、目标和行为与人类意图保持一致。
3.2 对齐的三个层次：
- 对齐个体：和心理学人格健康评测对齐。
- 对齐群体：在不同用户群体（如不同国家、文化、年龄层）间的平衡，避免系统性偏见。
- 对齐社会：模型的行为应符合相应社会文化的价值观、法律法规和长期福祉。
第三部分：大模型智能体安全：GUI Agent的风险与挑战
1. 从模型到智能体：安全边界的外延
GUI Agent的定义：能够理解图形用户界面并执行操作的大模型智能体。
风险升级：从“说错话”到“做错事”，其行动可能带来直接的经济损失或物理安全威胁。
2. GUI Agent的安全威胁分类
2.1内部威胁：源于智能体自身决策的故障。
- 示例：目标误读（Goal Misgeneralization）、指令误解、模型幻觉导致错误操作。
2.2外部威胁：源于外部环境的恶意诱导或攻击。
- 示例：界面混淆攻击（UI Confusion Attack）、视觉幻象攻击、诱导Agent点击恶意链接或安装病毒。
3. 防御与评测
防御思路： “沙箱”运行环境、操作确认机制、行为监控与中断。
评测数据与基准：介绍为评估GUI Agent安全性而设计的基准测试（如AgentSafetyBench），包含各种对抗性场景的测试数据集。
第四部分：总结与展望
1. 内容回顾：简要总结大模型内容安全（无毒性、对齐性）和智能体安全（内外部威胁）的核心要点。
2. 未来展望
3. QA

听众收益：
1. 大模型安全最新研究进展
2. 大模型智能体安全最新研究进展
3. AI安全未来发展方向机遇

中国人民大学信息学院讲师，吴玉章青年英才、玉兰学者。香港中文大学博士，华中科技大学学士。研究方向为大模型安全，近五年发表A类论文30余篇，其中一作通讯发表20篇。发表论文获ACM SIGSOFT杰出论文奖，EMNLP最佳论文提名，深圳科协优秀论文奖。谷歌学术总引用三千七百余次，单篇论文引用超一千次。

智能化软件供应链安全分析现状与挑战

肖扬

浙江大学百人计划研究员

内容简介：

软件供应链攻击事件频发，如何高效识别和防范供应链风险成为业界关注焦点。本报告聚焦智能化技术在软件供应链安全分析中的应用，系统介绍深度学习和大语言模型（LLM）如何与软件供应链技术相结合，提升软件组成分析、漏洞检测、恶意代码检测等关键能力。报告将分享国内外最新研究进展，重点阐述我们在闭源软件供应链安全分析方面的技术探索，并展望智能化技术在软件供应链安全领域的发展趋势与应用前景。
演讲提纲：
1.软件供应链安全背景
1.1什么是软件供应链
1.2软件供应链攻击典型案例与危害
1.3当前供应链安全面临的主要挑战
2.智能化软件供应链分析技术现状
2.1智能化组成分析技术
2.2智能化漏洞数据构建技术
2.3智能化投毒风险检测技术
3.闭源软件供应链分析技术探索
3.1二进制软件第三方库识别技术
3.2二进制软件第三方版本识别技术
3.3二进制软件函数相似性分析技术
3.4二进制软件漏洞存在性分析技术
4.未来展望
4.1智能化赋能软件供应链安全
4.2大模型的软件供应链安全分析

听众收益：
1. 系统了解软件供应链及其安全风险
2. 掌握智能化技术在软件供应链方向的前沿应用
3. 获取闭源软件供应链分析的实战方法与经验

聚焦软件供应链安全和智能化漏洞挖掘方向，在软件工程和网络安全领域发表CCF-A类推荐会议或期刊论文20余篇，包括USENIX Security、CCS、NDSS、ICSE、ASE、ISSTA等。主持国家自然科学基金青年项目、预研项目及企业合作项目，担任国家重点研发计划课题执行负责人。团队在Linux Kernel、Chrome、Adobe等重要软件中发现零日漏洞400余个，获得CVE编号100+，团队成员入选MSRC TOP 100，并登榜戴尔名人堂、英特尔名人堂、谷歌名人堂等全球漏洞贡献排行榜。现任《信息安全学报》和《Cyber Security》期刊编委，曾任TOSEM、TSE、Computers & Security等国际会议或期刊审稿人，入选科技领域青年人才托举工程。

基于蜕变测试的大模型内容安全评估研究与实践

邢颖

北京邮电大学副教授、硕/博士生导师

内容简介：

本演讲聚焦于大模型内容安全评估，通过构建一个多语言基准，并基于蜕变关系生成变体数据集，对多个大模型进行评测，评估其在不同安全类别下的表现。该基准涵盖中文与英文两种语言，每种语言均覆盖四个安全领域九个安全类别，支持多维度的安全评测。之后，我们引入蜕变测试作为系统性评估方法。最后通过实验结果与工业场景应用的结果分析展示不同大模型在各类别下的安全表现差异，并验证蜕变测试在发现细微但关键的安全缺陷方面的有效性。

演讲提纲：
1.研究背景与意义
大语言模型已在众多应用场景中广泛部署，但其生成有害或敏感内容的风险仍可能引发严重的安全问题。评估此类风险，亟需高质量的基准数据集与有效的评估方法。
2.提出大模型内容安全分类框架
针对多种内容安全风险，提出一种两层结构的内容安全分类框架。
3.构建大模型内容安全评估基准
基于两层结构的内容安全分类框架，通过数据搜集、清洗等方法构建大模型内容安全评估基准，并对多个大模型开展评测。
4.引入蜕变关系增强内容安全评估基准
定义七种蜕变关系对评估基准的数据进行蜕变，形成七个新的数据集，并进一步对多个大模型进行评测，分析结果。
5.大模型评测结果分析
根据实验与工业场景的实际应用结果，综合评估常见大模型针对不同类别数据的处理能力、使用蜕变关系的效果、大模型参数等指标对数据处理的影响，并通过实例分析直观展示实验结果。

听众收益：
1.了解大模型内容安全评估的分类框架，明确大模型内容安全所包含的具体类别。
2.掌握内容安全评估基准的构建流程，包括数据搜集、转换与标注等方法。
3.理解多种蜕变关系的定义及其在内容安全评估基准上的应用。

北京邮电大学副教授、硕/博士生导师，中国计算机学会（CCF）高级会员、软件工程专委会副秘书长，中国人工智能学会会员，国家自然科学基金同行评议专家。主要从事源代码分析、软件可靠性、人工智能应用的研究，先后主持国家自然科学基金、中国博士后科学基金、CCF绿盟“鲲鹏”科研基金等项目，并作为项目骨干参与了多个国家重点研发计划、国家自然科学基金和其他省部级项目。出版专著《源代码分析》、《面向对象软件工程》、《基于人工智能的测试用例自动生成与测试用例集优化》等。在《软件学报》、《中国科学：信息科学》、EAAI、JCST、JSS、IET Software、KBS及ChinaSoft等期刊和会议上发表论文数十篇，申请和授权专利数十个。

AiDD峰会

K+峰会

联系我们