最近，漆舒汉教授课题组博士生肖鑫宇研究成果“Dual feature fusion for incomplete multi-view multi-label learning”被在多媒体领域中科院1区TOP期刊《IEEE Transactions on Multimedia》成功接收。

论文题目：Dual feature fusion for incomplete multi-view multi-label learning

论文作者：肖鑫宇、漆舒汉（通讯作者）、吴宇琳、陈斌、邢超、王轩

作者单位：哈尔滨工业大学（深圳）、广东省安全智能新技术重点实验室、深圳至策科技有限公司

论文简介：

多视图多标签学习旨在利用输入样本的多视图信息来实现对多个标签的准确预测。遗憾的是，大多数现有的 MVML 方法都假设数据完整性，这使得它们在涉及视图缺失或标签不确定的实际场景中无效。近期的方法可以解决数据不完整问题，但很少有方法能够处理视图和标签同时缺失的情况。为了应对这一挑战，我们提出了一种双视图特征引导融合学习 (DFFL) 框架。DFFL 同时考虑特定视图的独特特征和视图间的一致性特征。具体而言，DFFL 构建了视图独特性对比学习，以确保在视图缺失的情况下，同一视图内的特征保持较高的语义相关性，而不同视图之间的语义则有所不同。与以往的方法不同，DFFL 假设标签相关性可以反向映射到高维特征。通过建立视图一致性学习，最大化共享嵌入空间中的互信息，从而实现一致的特征对齐。具体而言，DFFL 通过对偶预测最小化多视图特征边缘分布的条件熵，从而得到特征融合的最大联合分布，并结合缺失的视图索引矩阵实现特征融合。此过程可以有效缓解以往方法中存在的融合特征抑制问题。最后，将缺失的标签索引矩阵与融合特征相结合完成分类任务。

我们在五个广泛使用的数据集上验证了该框架，实验结果表明，我们的方法与最先进的方法相比取得了卓越的性能。消融研究进一步验证了 DFFL 中各个组件的有效性。

图1 DFFL算法框架图

表1 基线方法实现对比效果

第一作者简介：肖鑫宇，哈尔滨工业大学（深圳）2023级博士研究生，研究方向为模态部分缺失下的多模态学习，多模态大模型具身导航。指导老师为漆舒汉教授。本论文受到广东省安全智能新技术重点实验室和国家自然科学基金面上项目的大力资助。对参与论文工作的各位合作老师表达由衷的感谢。