实战应用场景2021年度AI服务器的巅峰对决

时至12月，又到了清点、总结的工夫了。遥记当年DIY最火的时间，岁暮都要做的是硬件产物横评与清点等厉重选题，从消费者到厂商都能通过比较来理解产物的机能与墟市发扬，从而为遴选、研发下一代产物积聚体验。

咱们再来看看企业级墟市，近20年来它的改变速率飞疾，从x86效劳器兴盛开端，众核算力、云估量、大数据、、容器等等技巧杀青了一次又一次的冲破，也为数字化的来日写下了一页页浓墨重彩的传奇。

企业级墟市生长至今，可能看到无论是技巧照样产物，集体趋向都无一例海外朝向操纵。CPU、GPU、DPU、存储都不再是简单的量度尺度，企业级用户闭怀的操纵，或者说是或许正在什么样的本钱下，供应为我所需的机能，这才是最厉重的一点。

恰是由于如斯，MLPerf™测试才应运而生地成为了新一代标杆，它所量度的是效劳器正在人工智精明系范畴操纵的机能发扬，极具实战价钱，因而也备受业界闭怀。

MLPerf™是影响力最广的邦际AI机能基准评测，由图灵奖得主大卫•帕特森（David Patterson）纠合顶尖学术机构倡议缔造。2020年，非盈余性机械进修盛开构制MLCommons基于MLPerf™基准测试缔造，其成员网罗、Facebook、英伟达、英特尔、海潮、哈佛大学、斯坦福大学、加州大学伯克利分校等50余家环球AI领军企业及顶尖学术机构，尽力于促进机械进修和人工智能尺度及量度目标。

目前，MLCommons每年构制2次MLPerf™ AI熬炼机能测试和2次MLPerf™ AI推理机能测试，为用户量度开发机能供应巨擘有用的数据辅导。

固定做事是通过不异的模子、优化器及参数值测试深度进修正在差别效劳器上的机能发扬，近似于咱们平时看到的硬件类比较评测。而盛开做事则对深度进修模子及精度不做过众管束，重心侦察效劳器厂商对深度进修模子及算法的优化才智，促进ML模子和优化的更始。

固定做事（Closed）夸大AI估量编制的公道对照，竞赛量度的是统一深度进修模子正在差别硬件上的机能，重心侦察参测厂商硬件编制和软件优化的才智。

既然MLPerf™每年构制4次AI干系测试，那么岁暮这回当然就属重头戏了，业界对此的闭怀度也万分之高。12月1日，MLPerf™宣告了最新一期熬炼（Training）榜单V1．1，此次共有谷歌、微软云、英伟达、海潮新闻、、戴尔等14家公司及科研机构，插手MLPerf™基准测试，悉数都是邦际大厂，可谓华山论剑。共提交180项固定做事（Closed）效果，6项盛开做事（Open）效果。

正在单机测试的8项做事中，海潮新闻获7项冠军，英伟达获1项冠军；正在集群测试的8项做事中，英伟达获7项冠军，微软云获1项冠军。

正如前文所述，本次MLPerf™基准评测涵盖了8类极具代外性的机械进修做事，辨别是图像分类（ResNet）、医学影像盘据（U－Net3D）、目的物体检测（SSD）、目的物体检测（Mask R－CNN）、语音识别（RNN－T）、自然讲话了解（BERT）、智能引荐（DLRM）以及加强进修（MiniGo）。

这就坊镳咱们挑选智高手机，墟市中的机型几百、上千款，它们的打算、定位自己就有着很大差别。白领着重品格和牢靠性、逛戏玩家闭怀机能、年青人心爱影相、学生更闭怀性价比，遵照己方的利用场景实行遴选，云云才具做到定位精准。MLPerf™的操纵场景式评测，也是意正在于此。

ResNet长短常经典的深度进修模子，它也被称为最模范的估量机视觉操纵。将海量图片识别后象征，然后实行分类，这种操纵场景万分便捷与高效，ResNet侦察的便是效劳器正在这项模子熬炼中的发扬。

从上图可能看到，海潮新闻的两款经典效劳器拿下了前两名处所，NF5488A5机能最高，NF5688M6排名第二。Supermicro的8卡A100－SXM4－80GB（500W）机型机能较NF5488A5低1．6％，排名第三。

看到这里可以有人会出现疑义，为什么唯有海潮和超微用500W的GPU？对待其他厂商而言是不是有些不公道？

实在，这恰巧说明了它们强壮的研发势力。由于海潮是第一个正在效劳器中杀青8块500W功耗GPU陈设的厂商，并供应液冷与风冷两种机型，同期其他品牌的产物多半仅做到了陈设4块500W GPU。本次测试，超微是第二家以8块500W GPU效劳器参赛的厂商。

GPU从300W到400W再生长至500W，众张卡同时陈设的工夫，对效劳器内有限的空间提出了更高散热需求，因而供电与散热方面打算难度万分高。也恰是由于如斯，正在评测中，才或许窥察出各家企业、机构参赛产物的打算、研发才智。

患者到病院拍了医学影像，网罗X光、超声、CT和MRI等，AI可能正在很短时刻内对盘据后的影像实行阐发，给出合理的开始诊断、阐发及预测，为诊断供应容易。

医学影像盘据是医学影像智能阐发中的厉重范畴，也是估量机辅助诊断、看管、干扰和医疗所必须的一环，其闭节做事是对医学影像中器官或病变实行盘据，为疾病的精准识别、精确阐发、合理诊断、预测与防范等方面供应万分厉重的道理和价钱。

三维医学图像盘据做事3D U－Net模子的整机机能比较。海潮新闻此次仅提交了NF5688M6的结果，可能看到其机能领先第二名GIGABYTE约4．7％。领先第三名Supermicro约7．7％。相对而言该项测试估量做事对照艰巨，因而各款产物也拉开了较昭着的差异。

正在一场范畴宏壮的线上聚会中，演讲者所说的内容悉数及时显示正在屏幕上，既了解又精准。现正在，云云的场景一经无需人力，仅仅通过AI就能杀青了。它的背后，便是语音识另外成就。

RNN－T模子精巧的将讲话模子声学模子整合正在一齐，同时实行纠合优化，是一种外面上相对圆满的模子构造。它通过纠合收集将讲话模子和声学模子的状况通过某种思绪团结正在一齐，可能是拼接操作，也可能是直接相加等，因而也特别精准。

语音识别RNNT做事熬炼的整机机能比较。可能看到NF5488A5机能第一，领先第二名NVIDIA约2．6％，领先第三名Microsoft约12．5％。这项测试可能说统筹了深度进修的众种模子整合，繁复水准较高，海潮NF5488A5依附硬势力也制造了新的记录。

上述这三种场景测试仅仅是冰山一角，正在MLPerf™基准测试中共涵盖了8项最挨近操纵场景的机械进修干系做事，这也是其被誉为极具实战价钱的闭节所正在。

动作业内最巨擘的AI基准测试，MLPerf™每年构制AI推理及AI熬炼机能测试各2次。12月1日结果的宣告，这也意味着MLPerf™ 2021年度4次测试正式收官。本年度共29家邦际厂商、探讨机构插手此中，正在数据核心推理、角落推理、集群熬炼和单机熬炼百般AI场景下，不竭冲破AI编制机能。此中，海潮新闻共斩获44项冠军，名列MLPerf™ 2021年度冠军榜首，英伟达、戴尔、高通陈列第二、第三、第四。

周详窥察不难发明，参赛的厂商与机构所遴选的硬件根基近似，念取得更高的机能，只可靠编制打算与优化才智，这里并无捷径而言。海潮新闻正在AI效劳器打算与优化方面深耕众年，因而才具备如斯强劲的硬势力。

正在硬件打算方面，针对AI做事中常睹的麇集IO传输瓶颈，海潮AI效劳器以领先打算大幅消浸通讯延迟，极大提拔了AI熬炼效能。同时，针对高负载众GPU协同做事调动，对NUMA节点与GPU之间的数据传输实行全数优化和深度调校，确保熬炼做事中的数据IO无梗阻。其余，正在散热层面，A100－SXM－80GB（500W） GPU这款产物功耗万分高，为此海潮开荒了优秀冷板液冷编制，确保GPU正在全功率负载下如故安宁作事，也是让AI效劳器正在各类测试中发扬超卓的厉重出处之一。

对待海潮AI效劳器产物而言，两款主力机型NF5488A5和NF5688M6正在本年度MLPerf™测试平分别斩获18和15项冠军，它们的胜利并非一挥而就，而是稠密研发打算职员合伙发愤之下，再辅以众年来的技巧积聚，所结出的功劳当然极具势力。

MLPerf™的评测，可能说正在悉数2021年度为IT行业点燃了一盏明灯，指引公共将闭着重点放正在AI实战上，而并非硬件目标。此次V1．1榜单也可看作是AI效劳器的清点与总结，极具参考和实战价钱。从MLPerf™测试自己来看，良众出色的硬件产物正在差别阶段测试中发扬出了强劲的势力，并正在各类优化之后一次又一次地杀青“刷榜”，这也是行业用户最念看到的一点。正在测试中不竭强壮的AI效劳器或许助助用户更高效地完结熬炼，而且可能考试以前无法企及的做事，为AI正在差别范畴的疾速生长注入新生机。

海潮AI效劳器正在中邦墟市份额已连绵五年稳居第一，目前环球墟市份额也是第一。海潮新闻正在MLPerf™中或许得到优异的效果，再次说明了本身研发势力，并正在实战操纵场景方面有了特别长远的洞察和了解。其余，海潮新闻正在MLPerf™测试中的寻求和更始，也进一步助助海潮或许正在实践操纵中更好地回馈行业客户，助力其交易生长，并以此促进AI疾速前行。