2023年12月28日,浙江大学计算机学院DCD实验室与浙江大学上海高等研究院计算+AI团队的况琨副教授、吴飞教授、庄越挺教授、肖俊教授等在Cell子刊《Patterns》在线发表题为“Unified Fair Federated Learning for Digital Healthcare”的研究论文。
该研究工作针对传统联邦学习算法训练所得机器学习模型呈现公平性差这一难题,设计并实现了联邦学习中算法公平性统一框架以及相应高效优化算法,为联邦学习在数字医疗等领域应用提供了一种可信解决方案。
研究背景与突破
近年来,人工智能在数字医疗等领域取得了成功,如训练良好的机器学习模型可以辅助医疗人员做出决策。训练机器学习模型往往需要依赖特定任务所对应数据。然而,出于隐私考虑,难以将不同医院医疗数据收集后而集中式地训练模型。联邦学习作为一种实现隐私保护的分布式机器学习范式,允许多个节点(医院)在本地分别训练模型后,由中心服务器对所得不同训练模型进行协同,以提高模型泛化能力。
然而,联邦学习所得模型存在着不公平性 (unfairness)问题:虽然模型有着较高的整体准确率 (overall accuracy),但是其在不同数据集上可能存在着很大的性能差异 (performance disparity)。一般可将联邦学习中的公平性按照不同水平分为以下四类:
(A)医院水平公平性:在不同医院上性能差异大,可能会减弱部分医院参与联邦学习的积极性,进而破坏联邦学习生态;
(B)属性水平公平性:在不同属性(类别/性别/种族)上性能差异大,可能会对部分人群产生歧视性,进而引发伦理问题;
(C)多水平公平性:同时在多个水平(医院&属性)上的性能差异大,可能会引发多种后果;
(D)未知水平公平性:模型部署环境的数据分布未知时,可能在某个水平(例如未参与联邦学习的医院)上存在较大性能差异。
图1:医疗领域联邦学习场景中不同水平的算法公平性示意图
针对上述问题,团队基于分布鲁棒优化技术设计了一套联邦学习算法公平性框架,并开发了相应高效优化算法(FedUFO),为上述问题提供了一个统一的解决方案。
图2:面向医疗领域的公平联邦学习统一优化框架流程图
研究成果贡献
为了验证该技术在各种联邦学习设定下不同水平公平性上的有效性,团队在四个真实数字医疗数据集上进行了应用实验,实验结果表明该方法可以有效提升任意指定水平上的公平性。此外,不同指标(包括准确率与不同水平上的算法公平性等)之间往往存在着权衡取舍,而团队提出的方法可以使用户根据实际需求灵活地平衡不同指标。
图3:团队所提出的算法FedUFO性能评估
该项研究工作由肖俊教授与况琨副教授共同指导,博士生张凤达为论文第一作者,帅子滔为共同第一作者。相关研究得到了科技创新2030-“新一代人工智能”重大项目、NSFC企业创新发展联合基金项目和NSFC青年科学基金项目等资助。
团队简介:
浙江大学计算机学院-数字媒体计算与设计(DCD)实验室初建于1998年。团队围绕跨媒体计算、人工智能、大数据理论与应用三大方向,以合作承担国家重大(重点)项目为契机,历经将近20年建设,形成了优秀研究群体。团队核心成员以中青年人才为主,年富力强,开拓创新,活跃在教学科研第一线,拥有深厚理论功底和丰富科研经验,具有以国际学科前沿、国家需求和实际应用为导向的社会责任感,也具有充沛时间和精力完成好本团队科研任务。团队研究具有明显跨学科和交叉特色,为研究内容顺利实施奠定了学科交叉人才基础。
*论文链接:https://www.cell.com/patterns/fulltext/S2666-3899(23)00314-8