医学影像分割难题获突破：可自动调参适应所有数据集

雷锋网音书，克日，一篇来自德邦癌症咨询核心、海德堡大学以及海德堡大学病院咨询职员的名为nnU-Net的医学影像决裂论文惹起了寻常合切。

该团队提出了一个可能自合适任何新数据集的医学影像决裂框架，该框架能遵照给定命据集的属性自愿调治全部超参数，全数经过无需人工过问。仅仅依赖于节俭的U-Net组织和鲁棒的操练计划，nnU-Net正在六个获得公认的决裂挑衅中竣工了最先辈的功能。

正在数据集的众样性的激动下，语义决裂是医学图像认识中的一个热门子范围，每年城市有豪爽的新形式提出。然而，这种不停增加的错综杂乱的形式变得越来越难以捉摸。同时，很众提出的形式未能正在提出的论文之外举办执行，从而障碍了正在新数据集上开荒决裂算法的经过。

正在这里，咱们提出了nnU-Net （no-new-Net）——一个自合适任何给定新数据集的框架。固然到目前为止这个经过全部由人工驱动，但咱们最初实验遵照给定命据集的属性自愿施行须要的调治，比如数据预经管、图像分块巨细、批量巨细和推理扶植。

值得注意的是，nnU-Net去掉了正在学界提出的花哨的收集组织，而仅仅依赖于嵌入正在鲁棒的操练计划中的节俭U-Net组织。nnU-Net正在六个获得公认的的决裂挑衅中竣工了最先辈的功能。源代码可正在得到。

语义决裂如故是医学图像估计打算范围的一个热门咨询课题，70％的邦际竞赛都是缠绕着它打开。惹起悠久合切的首要因由当然是医学范围中碰到的成像数据集的众样性和个人性格：数据集之间的数据范围、图像维度、图像巨细、体素灰度鸿沟和灰度显示方面不同很大。

图像中的类标签或许高度不服均，也或许不明了，并且数据集之间标注质料的不同也很大。其它，某些数据集正在图像几何形态方面分外不匀称，或者或许显示片层过错齐和极不匀称的间距的状况。总而言之，这些状况使得将一项工作的结果执行到其他工作变得尤其困穷，而且当从新利用这些形式来管理另一个题目时，它们往往会曲折。

调治打算计划或提出新打算观念的经过是杂乱的：大无数选取高度依赖于相互，声明选取的证据分散正在众数的论文中，此中蕴涵很众“噪音”。因而，近年来学者们提出了豪爽的决裂形式。一个特出的例子是：U-Net如此的带跳过毗邻的解码-编码组织的各类变体，蕴涵引入残差毗邻、辘集毗邻、注意力机制、特殊辅助的耗费层、特质从新校准和其他(如自愿聚焦层)。

全体的点窜相互大欠好像，然则它们都正在收集组织点窜上有一个希奇的合切点。斟酌到豪爽与决裂相干的论文，以及全体竣工的众样性以及数据集相干的挑衅，越来越难以恪守这些文献来确定哪些打算准则真正地正在实践之外获得了执行验证。遵照咱们己方的阅历，很众新的打算观念并没有晋升决裂功能，有时乃至损害了基线的功能。

当今医学图像估计打算的一个要害题目是将（决裂）形式利用于新题目的经过全部由人工驱动。它基于阅历，论文重要合切收集组织，而略过全部其他超参数。基线形式次优调治广泛通过新组织的提出来举办赔偿。 因为超参数空间中的强依赖性和豪爽的个别最小值，使得将形式更好地合适新题目变得分外困穷，以是正在这个轮回中的任何人都不行真正地被责怪。这种状况对咨询职员和全数学术圈来说都是令人丧气的。希奇是正在数据集云云众样化的医学成像范围，发扬正在很大水平上取决于咱们管理这些题目的才略。

本文试图朝这个目标迈出第一步：咱们提出了no-new-Net（nnU-Net），一种包罗自愿合适新数据集的决裂形式。基于对数据集的自愿认识，nnU-Net自愿打算并施行收集操练流程。缠绕圭臬的 U-Net收集组织，咱们假定通过给定的一组体系且仔细选取的超参数的决裂形式仍将爆发有比赛力的功能。实践上，正在没有任何手动微调的状况下，该形式正在几个出名的医学决裂基准上竣工了最先辈的功能。

决裂算法可能花样化为函数fθ(x)=yˆ，此中x是图像，yˆ是相应的预测决裂，θ是操练和利用该形式所需的超参数聚拢。θ的维度可能分外大，蕴涵了从预经管到推理的全数流程。很众已有论文广泛注重于讲演和说明合于θ的最相干的选取，理思状况下会供应源代码以全部掩盖θ。然则，即使转换到具有差异属性的新数据集，则此经过缺乏对怎么调治θ的长远理解。 正在这里，咱们初次实验将此经过花样化。

全体来说，咱们寻找正在数据集之间很好地执行的函数g(X, Y)=θ。正在第一步中，须要识别那些不须要调治的超参数，正在咱们的例子中，这些超参数响应了一个壮健但单纯的决裂体例和一个鲁棒的操练计划，这些影响身分都是动态的，须要遵照X和Y作出相应转折的。

正在第二步中，咱们界说动态参数g，正在咱们的例子中是一组启迪式规矩，以用于调治类型化和重采样计划，筑设图像分块巨细和批量巨细以及估计打算收集的全体组织，其蕴涵收集集成和推理形式。总而言之，nnU-Net是一个可能正在没有任何用户交互的状况下合适差异未睹过数据集的决裂框架。

这一措施须要输入数据的模态音信。即使模态不是CT，则nnU-Net通过减去均匀值并除以圭臬差来圭臬化强灰度值。即使模态是CT，则自愿地遵照操练集决裂前景区域灰度分散的0.5％到99.5％施行强灰度值的相像窗位的剪切。为了适当样板的权重初始化形式，行使全部前景均值和圭臬谬误对数据举办归一化。

nnU-Net会统计操练数据中的全部间距，而且选取每个轴的中值间距动作倾向间距。然后行使三阶样条插值对全部操练集举办重采样。各向异性间距（这里特指平面外间距比平面内间距大三倍以上的状况）会惹起插值伪影。正在这种状况下，咱们行使近来邻落成平面外插值。看待相应的每一类决裂标签，则行使线性插值来举办重采样。

三个U-net模子（2D U-Net、3D U-Net和两个3D U-Net模子的级联方法）相互独立筑设、打算和操练。正在两个3D U-Net模子的级联构架下，其第一个模子爆发低分别率决裂结果，随后由第二个模子举办下一步细化。相看待原始的U-Net收集，咱们只举办了下面三个转折：其一是行使带边际填充的卷积操作来竣工输出和输入形态的一律，其二是行使实例归一化，其三是行使Leaky ReLUs取代ReLUs。

这些参数须要遵照预经管的操练数据的形态来调治。全体来说，nnU-Net自愿扶植批量巨细，图像分块巨细和每个轴的pooling次数，使得显存消磨维持正在特定鸿沟（12 GB TitanXp GPU）内。正在这一步中，较大的h图像分块巨细优先于批量巨细（最小批量巨细为2），以获取更众的空间上下文音信。每个轴的巨细会pooling到4个人素以下。全部U-Net组织正在第一层行使30个卷积滤波器，并正在每个pooling操作时将此数目加倍。即使正在样板case中所选取的图像分块巨细掩盖的体素少于25％，则会行使下采样的数据操练级联的3D U-Net。级联旨正在当图像分块巨细太小而无法掩盖全数分别率，使nnU-Net仍能得到足够的上下文。

全部U-Net组织都进程五折交叉验证操练。每轮扶植250个小批量。行使交叉熵耗费和Dice耗费之和动作耗费函数。行使Adam动作优化器，初始练习率为3×10−4，l2权重衰减为3×10−5。每当操练耗费的指数转移均匀值正在近来30个期间内没有刷新时，练习率降低0.2倍。当练习率低于10−6或超出1000个操练轮数时，终了操练。咱们行使batchgenerators框架正在操练时刻举办正在线数据巩固。全体地，咱们行使弹性变形、随机缩放和随机盘旋以及gamma巩固。即使数据是各向异性的，则正在平面内举办2D的空间变换。

行使滑动窗口形式预测每个Case，此中重叠区域扶植为图像分块巨细的一半。这扩大了亲密核心区域的预测的权重。通过沿全部轴翻转来举办测试数据巩固。

nnU-Net集成由两个U-Net组合而成(2D、3D和cascade)，并遵照交叉验证结果自愿选取用于测试集预测的最佳模子或集成。更进一步，nnU-Net还行使交叉验证爆发的五个模子举办集成。

nnU-Net最初是正在医学决裂十项万能挑衅赛Decathlon的第一阶段的七个操练数据集上开荒的。挑衅赛数据集涵盖了医学决裂题目中广泛碰到的豪爽分歧性和挑衅。nnU-Net正在医学十项万能决裂挑衅赛（第一阶段和第二阶段）以及其余五个大作的医学决裂挑衅举办了评估。全部挑衅赛结果如外格1所示。

该挑衅的第一阶段蕴涵上述七个数据集，出席者行使这些数据集来开荒可执行的决裂算法。正在第二阶段，供应了以前未知的三个其他数据集。算法不举办进一步更改或用户交互利用于这些数据集。两个阶段的评估都是正在官方测试集上落成的。正在第一阶段和第二阶段，nnU-Net正在十项万能挑衅上有明白的上风。

每个心脏的cine-MRI图像的两个期间被决裂成三个个别。挑衅赛供应了100个操练案例，每个案例有两个期间。咱们手动拆分nnU-Nets的数据举办五折交叉验证运转。nnU-Net正在盛开式排行榜中赢得了第一名（基于50个测试用例），并正在此数据集上到达了state-of-the art。

工作是正在MRI图像平分割众发性硬化症。供应了5名患者，每名患者有4-5个功夫点（总共21个功夫点），有两个评估者，每个功夫点供应了说明。咱们将每个评估者视为一个稀少的操练集，并手动拆分操练案例以确保患者分层。正在测试召集，nnU-Net正在163份提交中排名第5，得分为93.09，仅落伍于范德比尔特大学的四份提交结果，此中最高分为93.21。

工作是正在各向异性的MRI图像平分割前哨腺。供应了50个带标注的操练案例和30个未象征的测试案例。nnU-Net的测试集得分为89.08，正在总共290份提交中排名第11（第一名：89.59）。

肝肿瘤决裂的挑衅由131个操练图像（CT）和70个测试用例构成。看待操练病例，供应了肝脏和肝脏肿瘤的决裂。nnU-Net正在病变和肝脏上的Dice评分诀别为0.725和0.958。通过移除最大连通前景区域以外的全部区域举办后经管将Dice得分升高到0.738和0.960，正在盛开的排行榜病变决裂的Dice评分到达了state of the art，而且肝脏决裂正在123支步队排名第17位（第一名：0.966）。

外格2显示了为验证nnU-Net中的选取而打算举办的熔解咨询。全部实践均正在Decathlon第一阶段的代外性数据集上行使好像的数据划分举办的。这些结果一方面证据咱们该当点窜行使Leaky ReLUs，另一方面验证了咱们选取的实例类型化、数据巩固和耗费函数的效率。

图2所示。 nnU-Net打算选取的熔解实践。 行使操练数据的一个别和3D U-Net对来自Decathlon的代外性数据集举办实践。 nnU-Net的数值代外均匀前景Dice分数（比如肝脏数据集的肝脏和肿瘤筛子系数的均匀值），熔解咨询的值代外Dice分数百分比的变更。

咱们先容了nnU-Net，一个可能自愿合适任何给定命据集而无需用户过问的医学决裂框架。据咱们所知，nnU-Net是第一个实验花样化数据集之间须要举办的须要调治的决裂框架。nnU-Net正在六个公然的决裂挑衅中竣工了最先辈的功能。这吵嘴常了不得的，由于nnU-Net不依赖于近年来提出的各类杂乱的决裂组织，而只依赖于单纯的U-Net组织。务必夸大的是，咱们没有正在挑衅数据集之间手动调治超参数，全部打算选取都是由nnU-Net自愿确定的。更令人骇怪的是，它正在一个别数据集上超出其他特意手动打算的算法。

nnU-Net蕴涵少少通用的固定打算选取，如U-Net组织、Dice耗费、数据巩固和模子集成，以及由一组恪守咱们的决裂阅历的规矩确定的少少动态打算选取。固然，行使此类规矩或许不是管理此题目的最佳形式。通过给定更众的数据集，改日的处事或许会实验从数据集的属性中直接练习这些规矩。固然nnU-Net的选取可能正在众个数据召集竣工壮健的决裂功能，但这并不虞味着咱们已找到全部最优的筑设。

原形上，从外格2所示的熔解实践可能看出， Leaky ReLU调换ReLU的选取并没有影响功能，咱们的数据巩固计划或许并不对用于所罕有据集，后经管也有待于进一步的咨询。咱们正在LiTS的结果证据，精确选取的后经管或许是有益的。这种后经管可能通过认识操练数据或通过基于交叉验证结果选取计划来自愿化。这种自愿化的实验正在举办Decathlon挑衅赛时nnU-Net初始版本的一个别，但自后因为不行一连改良结果而被甩掉。

现正在咱们仍然征战了迄今为止最壮健的U-Net baseline，咱们可能体系地评估更先辈的收集打算的通用性以及相看待此处采用的日常架构的功能晋升。以是，nnU-Net不光可能用作开箱即用的决裂器械，还可能用作改日医学决裂相干宣告论文的壮健U-Net baseline安闲台。雷锋网类雷锋网