2024年6月28日,广东省安全智能新技术重点实验室主办的硕博论坛第七期“数据安全与多模态大语言模型”在哈尔滨工业大学(深圳)信息楼L-316顺利开展,本期论坛由哈尔滨工业大学(深圳)王强老师主持,邀请了哈尔滨工业大学(深圳)李若南博士和香港城市大学陈文婷博士对其各自的论文成果进行分享报告。
李若南博士对论文《基于区块链的数据共享访问控制策略设计》进行了报告。针对工业物联网(IIoT)在推动现代工业领域进步时面临的数据安全与隐私保护挑战,团队提出了一种创新的、基于区块链的IIoT访问控制框架。李博士介绍了该框架的两部分核心方案:基于访问频率集的网络分片方案(N2SAF)与基于Bloom过滤器的隐私保护方案(P2BF)。首先,N2SAF方案通过交易分片技术,有效缓解了节点的存储压力,同时在物联网云-边缘-设备的三层架构上,提升了交易处理速度,实现了高效的数据处理。其次,针对匿名地址聚类带来的隐私泄露风险,P2BF方案利用Bloom过滤器的特性,对设备身份进行模糊化处理,实现对这些信息的隐藏和保护。仿真实验结果显示,该框架在大规模物联网环境中表现出色,不仅提高了系统的可扩展性,还确保了分片网络的安全性。
![](/__local/C/EC/F6/919E5BCD045F931A907EFC96664_2930F6F3_9E98F.png)
图1 李若南博士进行报告
陈文婷博士围绕“医学多模态大语言模型”的主题进行了报告,介绍了两篇论文的研究成果。陈博士指出,随着LLM技术如GPT-4的突破,医疗领域的多模态大语言模型(Med-MLLMs)在诊断支持和信息合成方面展现出强大能力,但实际应用中仍面临建模精细度不足和评估基准不全的难题。针对这些难题,陈博士介绍了第一篇论文提出的AdaMatch模型,该模型实现了医疗图像与报告间的细粒度对齐,应用于可解释的图像-报告生成,提升了诊断的准确性和结果的可解释性,为医生提供更直观、可信的决策依据。而对于评估基准的缺失,第二篇论文介绍了Asclepius评估基准,该评估基准全面覆盖了医疗专科和多种诊断任务,有助于更准确地衡量模型在复杂医疗环境中的表现。
![](/__local/F/2D/D8/CD5C0BD468FA406E111FF7B7FD2_C28AD80D_A167B.png)
图2 陈文婷博士进行报告
汇报结束后,在王强老师的主持和引导下,参会同学向两位博士积极提问,就科研工作经验、论文中的技术细节、应用场景等话题进行了交流与讨论。通过这次论坛,进一步拓宽了同学们对数据安全与多模态大预言模型领域的认知和理解。
![](/__local/6/9B/2E/FC5B7912C812770D54279C828E1_798F3808_9C552.png)
图3 提问交流环节
![](/__local/3/6C/60/A6C9FC273884FA9EC2B73209061_84601937_9800D.png)
图4 提问交流环节
![](/__local/6/7B/9B/79C5223AFA470CCBF239FF77DC4_FBA92F00_E24C8.png)
图5 参会人员合影留念
主持人简介:
王强,哈尔滨工业大学(深圳)计算机科学与技术学院助理教授。2014年于华南理工大学计算机科学与工程学院取得工学学士学位,2020年于香港浸会大学计算机系取得博士学位,期间获得香港博士政府奖学金HKPFS资助。2020年-2022年曾于香港浸会大学计算机系担任研究助理教授(RAP)。主要研究方向为GPU计算、节能计算、分布式并行计算、高效深度学习等。
演讲嘉宾简介:
李若南,哈尔滨工业大学(深圳)计算机科学与技术专业2020级博士,导师是刘劼教授(IEEE Fellow)和秦阳教授,主要研究方向为AI+物联网(AIoT)、隐私数据共享安全、智能交通及多智能体强化学习。近年来在IEEE TII、IEEE IoTJ、KBS等在内的领域TOP期刊及学术会议上完成学术论文32篇(第一作者或通信作者论文19篇),其中发表/录用论文25篇(其中一作或通讯作者论文13篇);获国家奖学金等国家级奖学金4项,参与国家自然科学基金国家级等重点科研项目10项,申请发明专利9项,授权3项;获得全国大学生“恩智浦”杯智能汽车竞赛、中国研究生电子设计竞赛等重大竞赛6项。曾获方滨兴奖学金(院士奖学金)、中国大学生自强之星、国际会议ICMIC最佳论文奖等30余项荣誉和奖励。
陈文婷,现为香港城市大学电子系四年级博士生,师从袁奕萱和周伟诚教授。主要研究方向为医学多模态大语言模型、医疗图像生成、眼底图像分析等。博士期间在医疗图像领域、自然语言处理和人工智能领域发表多篇顶会和顶刊论文。