哈佛团队开发FairDomain实现跨域医学图像分割和分类中的公平性

迩来，加强公允性的勤恳引入了新的举措和数据集。然而，正在域搬动的后台下，公允性题目险些没有获得探求，假使诊所经常依赖差异的成像技能（比方，差异的视网膜成像方法）举行患者诊断。

本文提出了FairDomain，这是初度编制性钻探算法正在域搬动下的公允性，咱们测试了最进步的域合适（DA）和域泛化（DG）算法，用于医学图像支解和分类工作，旨正在体会bias怎样正在差异域之间搬动。

咱们还提出了一种新的即插即用的公允身份注视力（FIA）模块，通过应用自注视力机制，遵照生齿统计属性调理特性首要性，以降低各式DA和DG算法的公允性。

另外，咱们还料理并公然了第一个别贴公允性的domain-shift数据集，该数据集包括统一患者群体的两种配对成像方法的医学支解和分类工作，以厉苛评估域搬动场景下的公允性。倾轧源域和主意域之间生齿分散分别的稠浊影响，将使域搬动模子机能的量化尤其明显。

咱们的遍及评估注明，所提出的FIA正在一共域搬动工作（即DA和DG）中明显加强了模子正在差异生齿统计特性下的公允性和机能，正在支解和分类工作中均优于现有举措。

近年来，深度练习正在医学影像规模的提高极大地提拔了分类和支解工作的恶果。这些技能有助于降低诊断确实性、简化诊疗筹划，最终改良患者的强壮情状。然而，正在差异医疗处境中安置深度练习模子时，面对一个首要寻事，即算法固有的意睹和对特定生齿群体的敌对，这能够会弱小医疗诊断和诊疗的公允性。

近期的少许钻探入手下手管理医学影像中算法意睹的题目，拓荒了少许加强深度练习模子公允性的举措。然而，这些举措寻常假设操练和测试阶段的数据分散维持褂讪，这种假设正在本质医疗场景中往往不建树。

比方，差异的低级保健诊所和专科病院能够依赖于差异的成像技能（比方，差异的视网膜成像方法）举行诊断，导致明显的域搬动，进而影响模子机能和公允性。

固然已有文献遍及考虑了域合适和域泛化，但这些钻探重要鸠合正在降低模子确实性，而漠视了确保模子正在差异生齿群体中供应公允预测的枢纽性。更加正在医疗规模，决定模子直接影响人类强壮和安定，是以钻探跨域公允性具有首要旨趣。

然而，目前仅有少量钻探入手下手考虑跨域公允性的题目，并且这些钻探缺乏编制的整个侦察，寻常仅体贴域合适或泛化，而很少同时体贴两者。另外，现有的钻探重要管理医学分类题目，而漠视了正在域搬动下同样首要的医学支解工作。

为体会决这些题目，咱们先容了FairDomain，这是医学影像规模第一个编制性探求域搬动下算法公允性的钻探。

咱们通过众个最进步的域合适和泛化算法举行遍及试验，评估这些算法正在差异生齿统计属性下确实实性和公允性，并体会公允性怎样正在差异规模之间搬动。

咱们的旁观揭示了正在差异的医学分类和支解工作中，源域和主意域之间的群体呈现分别明显加剧。这注明须要安排以公允性为导向的算法来有用管理这一弁急题目。

为了增加现有意睹缓解职责的亏空，咱们引入了一种新的众功用公允身份注视力（FIA）机制，该机制安排为可能无缝集成到各式域合适和泛化政策中，通过生齿统计属性（比方，种族群体）派生的自注视力来和谐特性首要性，以激动公允性。

FairDomain基准的拓荒面对的一个枢纽寻事是缺乏一个可以确切响应实际全邦医疗规模中域搬动的医学影像数据集，而这种域搬动寻常是因为差异的成像技能惹起的。

现有的医学数据鸠合，源域和主意域之间的患者生齿统计分别引入了稠浊，难以划分旁观到的算法意睹是因为生齿统计分散蜕变依然固有的域搬动所致。

为体会决这个题目，咱们计议了一个特有的数据集，囊括统一患者部队的配对视网膜眼底图像，不同采用两种差异的成像方法（En face 和 SLO 眼底图像），特意用于剖判域搬动场景下的算法意睹。

3、创修了一个大界限的、用于公允性钻探的配对医学支解和分类数据集，特意钻探域搬动下的公允性题目。

受试者是正在2010年至2021年间从哈佛医学院的一个大型学术眼科病院被选取的。本钻探中考虑了两个跨域工作，即医学支解和医学分类工作。看待医学支解工作，数据囊括以下五种：

希奇地，杯盘区域的像素说明最初通过 OCT 开发获取，OCT 缔制商的软件将 3D OCT 中的盘边人缘割为 Bruch’s 膜启齿，并将杯角落检测为内界膜（ILM）与平面结交处的最小外观积的交点。

因为 Bruch’s 膜启齿和内界膜与后台的高比较度，这些边境可能很容易地支解出来。因为 OCT 缔制商软件操纵了3D 消息，杯盘支解寻常是牢靠的。

商量到低级照顾中 OCT 开发的有限可用性和高本钱，咱们提出了一种将 3D OCT 说明搬动到 2D SLO 眼底图像的举措，以降低早期青光眼筛查的作用。

咱们应用NiftyReg 器械精准对齐 SLO 眼底图像与 OCT 衍生的像素说明，天生巨额高质地的 SLO 眼底掩膜说明。

这一进程进程一组医学专家的验证，注册告成率达 80%，简化了低级照顾扶植中更遍及操纵的说明进程。咱们操纵这些对齐和手动检验的说明，联合 SLO 和 En face 眼底图像，钻探支解模子正在域搬动下的算法公允性。

医学支解数据集包括 10000 名受试者的 10000 个样本。咱们将数据分为操练集 8000 个样本，测试集 2000 个样本。患者的均匀年事为 60.3 ± 16.5 岁。

数据集包括六个生齿统计属性，囊括年事、性别、种族、族裔、首选发言和婚姻情状。生齿统计分散如下：

婚姻情状：已婚或有伙伴占 57.7%，独身占 27.1%，分手占 6.8%，司法分炊占 0.8%，丧偶占 5.2%，未知占 2.4%。

相同地，医学分类数据集包括 10000 名受试者的 10000 个样本，均匀年事为 60.9 ± 16.1 岁。咱们将数据分为操练集 8000 个样本，测试集 2000 个样本。生齿统计分散如下：

首选发言：英语占 92.6%，西班牙语占 1.7%，其他发言占 3.6%，未知占 2.1%；

婚姻情状：已婚或有伙伴占 58.5%，独身占 26.1%，分手占 6.9%，司法分炊占 0.8%，丧偶占 1.9%，未知占 5.8%。

域合适（Domain Adaptation, DA）和域泛化（Domain Generalization, DG）是呆板练习模子拓荒中的枢纽技能，旨正在应对模子从一个特定域操纵到另一个域时能够崭露的变异性。

正在医学影像规模，DA 和 DG 技能看待创修可以稳妥处罚差异医疗机构、成像开发和患者群体之间的变异性的模子至闭首要。本文旨正在考虑域搬动后台下的公允性动态，并拓荒确保模子正在合适或泛化到新域时维持公宁静牢靠性的举措。

咱们旨正在拓荒一个举措函数 f，以减轻模子从源域搬动到主意域时常睹的公允性恶化。此类恶化重要因为域搬动能够放大数据鸠合现有的意睹，希奇是那些与性别、种族或族裔等生齿统计属性闭连的意睹。

为体会决这个题目，咱们提出了一种基于注视力机制的举措，旨正在识别和操纵与下逛工作（如支解和分类）闭连的图像特性，同时商量生齿统计属性。

图 3 显示了所提出的公允身份注视力模块的架构。该模块最初通过处罚输入图像和输入统计属性标签，以获取输入图像embedding E_i 和属性embedding E_a。然后将这些嵌入加上场所embedding E_p。注意的筹划公式如下：

通过筹划query和key的点积，咱们提取与目下特性属性闭连的相仿度矩阵。然后应用该矩阵与value的点积提取每个特性属性鄙人逛工作中明显的特性。这个进程由以下公式外现：

随后，一个残差相联将E_i增添到注视力的输出中，以维持输入消息的完好性。末了，一个归一化层和一个众层感知器（MLP）层进一步提取特性。正在对这两个层的输出举行另一次残差操作后，咱们获得了公允注视力模块的最终输出。

公允身份注视力机制是一种宏大且众功用的器械，旨正在降低模子机能，同时管理公允性题目。通过清楚商量生齿统计属性（如性别、种族或族裔），它确保练习到的外现不会无心中放大数据中存正在的意睹。

其架构许诺它行为一个插件组件无缝集成到任何现有搜集中。这种模块化本质使得钻探职员和实习者可以正在不须要对底层架构举行巨额篡改的情状下，将公允身份注视力集成到他们的模子中。

是以，公允身份注视力模块不单有助于降低支解和分类工作中的模子确实性和公允性，还通过激动数据鸠合差异群体的公允待遇来推进可托AI落地。

正在咱们的试验中，咱们最初剖判了正在域搬动后台下的公允性，详细体贴于杯盘支解工作。杯盘支解是指正在眼底图像中精准描画视杯和视盘的进程，这看待筹划杯盘比（CDR）至闭首要，是评估青光眼开展和危急的枢纽参数。

这一工作正在医学影像规模尤为首要，更加是正在诊断和处理青光眼等眼科疾病时。因为视杯是视盘的一个首要子区域，咱们将支解工作从头界说为视杯和角落（视杯和视盘角落之间的构制区域）支解，以避免因视杯和视盘之间的大面积重叠而导致的呈现失真。

咱们钻探了正在三种差异的生齿统计特性（性别、种族和族裔）下的公允性呈现，涉及两个差异的规模：从光学干系断层扫描（OCT）中获取的 En face 眼底图像和扫描激光眼底图像（SLO）。

正在随后的试验中，咱们拣选 En face 眼底图像行为源域，SLO 眼底图像行为主意域。其缘故正在于，与 SLO 眼底图像比拟，En face 眼底图像正在专科眼科照顾处境中更为常睹，是以数据的可用性明显更高。

是以，咱们拣选将 En face 眼底图像行为源域，将 SLO 眼底图像行为主意域。看待分类工作，咱们应用这两个域的眼底图像行为源域和主意域，分类为平常和青光眼两类。

咱们应用 Dice 和IoU目标来评估支解机能，应用受AUC来评估分类工作的机能。这些古板的支解和分类目标固然能响应模子的呈现，但并未内正在地商量到各生齿统计群体之间的公允性。

为体会决医学影像中模子机能和公允性之间的潜正在量度，咱们应用别致的公允性缩放机能（ESP）目标来评估支解和分类工作的机能和公允性。

令 ∈{Dice,IoU,AUC,...}M in {Dice,IoU, AUC, . . .\}M∈{Dice,IoU,AUC,...} 外现合用于支解或分类的通用机能目标。古板评估寻常大意生齿统计身份属性，从而错过了枢纽的公允性评估。为了将公允性纳入此中，咱们最初筹划机能分别Δ,界说为各生齿统计群体的目标与总体机能的团体偏向，其公式如下：

当差异群体的机能公允性抵达时，Δ亲昵零，响应出最小的分别。然后，ESP 目标可能公式化如下：

该团结目标有助于整个评估深度练习模子，夸大不单要体贴其确实性（如通过 Dice、IoU 和 AUC 等丈量），还要体贴其正在差异生齿群体间的公允性。

因为诊所能够应用差异的成像技能，域搬动中的公允性题目仍旧根本未被探求。咱们的职责引入了FairDomain，这是一个闭于域搬动工作中算法公允性的整个钻探，囊括域合适和泛化，涉及医学支解和分类两个常睹工作。

咱们提出了一种别致的即插即用的Fair Identity Attention（FIA）模块，通过注视力机制遵照生齿统计属性练习特性闭连性，从而正在域搬动工作中加强公允性。

咱们还创修了第一个以公允性为中央的跨域数据集，此中包括统一患者部队的两种配对的成像图片，以倾轧生齿统计分散蜕变对模子公允性的稠浊影响，从而精准评估域搬动对模子公允性的影响。

咱们的公允身份注视力模子可能改良现有的域合适和泛化举措，使模子机能正在商量公允性的情状下获得提拔。