论文主题内容介绍

研究背景

随着全球人口老龄化进程的加速，基于多模态数据的疾病早期诊断技术日益受到关注，通过融合医学影像与临床文本报告等信息，人工智能模型能够更全面地洞察患者健康状况，从而提升诊断的准确性与及时性。然而，这类多模态医疗数据在实际应用中面临两大核心挑战。其一，医疗数据高度敏感，涉及严格的隐私法规，使得分散在不同机构的数据难以集中训练，联邦学习作为一种分布式机器学习范式，为平衡隐私保护与数据价值挖掘提供了有效途径，但传统联邦学习方法主要针对单模态数据设计，难以直接适用于多模态场景。其二，医疗机构间的数据往往呈现显著的非独立同分布特性，同时由于设备差异或采集偏差，模态缺失问题普遍存在，部分样本可能缺少影像或缺少文本报告，模态缺失不仅破坏了跨模态的语义交互，还加剧了客户端间的数据异质性，导致全局模型性能急剧下降。如何在保护隐私的前提下，构建能够有效应对模态缺失和数据异质性的多模态联邦学习框架，成为当前医疗人工智能领域亟待解决的关键问题。

解决方案

论文提出了MPCPFL系统，旨在通过引入模态原型与对比学习机制，在保护数据隐私的同时，为多模态联邦学习中的模态缺失和数据异质性问题提供高效的解决方案。MPCPFL通过实现模态原型作为缺失掩码，利用由所有客户端数据聚合而成的全局原型在某一模态缺失时代替其输入，并结合模态对比训练引导客户端的局部表征向个性化原型靠拢，同时通过个性化局部聚合对Transformer的前馈网络层进行细粒度调整，从而在补偿缺失模态语义信息的同时对齐客户端表征，提升模型在复杂医疗场景下的鲁棒性。

设计概述

MPCPFL系统的设计满足了灵活处理任意缺失模态、对齐异构客户端表征以及协调全局与局部知识三个目标。其架构围绕服务器与客户端的协同更新展开，包含三个核心阶段。

在个性化局部聚合阶段，服务器将当前全局模型和全局原型分发至参与训练的客户端，各客户端并非直接覆盖旧模型，而是通过可学习的权重矩阵仅对Transformer中的前馈网络层进行加权融合，同时将全局原型与旧本地原型按数据量比例加权，形成初始化后的本地模型和个性化原型，这种设计既保留了全局模型强大的跨模态对齐能力，又允许客户端根据本地数据分布进行个性化调整。

在本地训练阶段，客户端执行模态原型作为缺失掩码和模态对比训练两大机制。当遇到样本缺失某模态时，客户端使用对应的个性化原型作为该模态的掩码参与前向计算，确保跨模态融合模块仍能获得完整输入。同时，本地训练损失由任务损失和模态对比损失共同构成，对比损失促使模型生成的局部表征与其个性化原型在特征空间上接近，并拉远与其他原型的距离，从而在保持局部特异性的同时确保与全局语义空间对齐。

在服务器聚合阶段，完成多轮本地训练后，客户端将更新后的本地模型和基于本类数据计算的本地原型上传至服务器，服务器按各客户端数据量占比对模型参数和原型进行加权聚合，更新全局模型和全局原型，进入下一轮通信。在推理阶段，若遇到模态缺失的测试样本，模型直接使用训练过程中验证准确率最高的全局原型对缺失模态进行补偿，与可用模态特征共同输入模型完成预测。

实验结果

在将医疗多模态数据集SLAKE转换为VQAv2格式并模拟10%至90%模态缺失率以及基于狄利克雷分布的非独立同分布数据划分的实验环境中，实验结果表明MPCPFL在所有缺失率设置下均显著优于现有基线方法，在90%的高模态缺失率下，推理准确率相比FedAvg提升了77.4%，相比FedProx提升了79.7%，最高领先基线方法13.7个百分点。消融研究证实，模态原型、模态对比训练和个性化局部聚合三个模块均对性能有显著贡献且三者协同工作效果最佳。在存在标签噪声的实验中，MPCPFL构建的全局原型相比基线方法具有更高的样本相似度和更低的噪声比例。训练效率方面，MPCPFL仅更新前馈网络层的设计降低了本地计算负担，总训练时长比FedAvg缩短16.5%，而原型传输带来的额外通信开销可忽略不计。在随机模态缺失率设置下，MPCPFL的性能下降幅度最小，进一步证明了其在异质性环境中的适用性。

于琪玮个人介绍

• 本科毕业院校：西南交通大学
• 研究方向：多模态联邦学习，模态缺失