液冷技术是指使用液体取代空气作为冷却介质,为服务器发热部件进行散热的技术。液冷技术的高效制冷效果有效提升了服务器的使用效率和稳定性,在单位空间可以集成更多的服务器,提高数据中心运算效率,因减少或取消风扇而兼具降噪、减少故障点的优势,余热利用也可为数据中心创造更多附加价值。
01 液冷是高密度IDC能耗优化的技术趋势
当前,福建省现网数据中心机架规模已近5万个标准机架(2.5kw/机架),平均实测PUE(Power Usage Effectiveness,电能利用效率)为1.69,距离国家提出“2025年新建大型、超大型数据中心PUE要低于1.3”的要求还有一定差距,需要行业通过节能改造、加快市场拓展、升级迭代等多措并举,推动行业绿色低碳化高质量发展。
数据中心是众所周知的行业耗能大户,其中散热能耗占比超40%。据赛迪研究院统计,43%的能耗是用于数据中心设备散热,与数据中心设备自身能耗45%基本持平。根据中国信息通信研究院的研究,数据中心电费占数据中心TCO(整体运营支出)的60%~70%。可见,实现更高效的散热,无论是对于数据中心节能降耗、减少TCO,还是推动数据中心朝着大型化、智能化方向发展都具有重大意义。
相比传统风冷技术,液冷的优势体现在三个方面。
一是液冷技术的高效制冷效果(液体带走热量是同体积空气的3000倍,液体导热能力是空气的25倍)有效提升了服务器的使用效率、降低故障率,同时使得数据中心在单位物理空间可以部署更多的服务器,提高数据中心运算效率。
二是液冷技术的应用,替代了传统数据中心的风扇、精密空调等风冷基础设施,相应增加了循环泵及冷却液系统,与传统的空调系统相比噪声更小。
三是液冷技术应用不受海拔、气压等地域影响,可以保持较高的散热效率,保证数据中心在高海拔地区的运行效率和性能,余热还可以满足附近居民的供暖、温水供应等需求,为数据中心创造更多的附加价值。
因此,液冷替代风冷是高密度数据中心演进不可或缺的散热技术方向。
02 数据中心液冷技术
按照冷却液与发热器件的接触方式,行业将液冷技术分为“间接接触型”和“直接接触型”两大类。
间接接触型液冷技术
冷板式液冷是最典型的间接接触型液冷技术。冷板式液冷系统中,服务器芯片等发热器件不直接接触冷却液,而是通过装配在需要冷却的电子元器件上的冷板(通常是铜、铝等高导热金属构成的封闭腔体)将热量间接传导给封闭在循环管路中的冷却液体,通过冷却液体将热量带走的一种散热方式。
冷板式液冷数据中心散热系统架构由室外(一次侧)和室内(二次侧)两部分组成,室外冷却塔中的冷却液通过室内冷却液体流量分配单元(CDU)提供冷却液循环动力,经冷却液体流量分配单元(CDU)二次侧输出并与服务器中CPU、GPU、内存等发热量大的电子元器件导热冷板直接进行热交换,形成的热液经冷却液体流量分配单元(CDU)输出到室外冷却塔进行冷却后再循环。而服务器中的硬盘、电源等其他发热量相对小一些的器件或单元还是得需要通过传统风冷方式散热。
直接接触型液冷技术
直接接触型液冷技术是将发热部件直接浸没在不导电的冷却液体中,利用冷却液体蒸发(相变)和液体的循环流动带走热量的一种散热方式。
浸没式液冷是最典型的直接接触型液冷技术,顾名思义就是将服务器浸没在特殊设计(或定制化设计)的箱体TANK中。浸没式液冷由于发热部件与冷却液体直接接触,相比冷板式液冷技术,浸没式液冷散热效率更高,噪音更低(完全没有风扇),更加节能。
而根据冷却液体是否存在相态改变,浸没式液冷还可以进一步分为“浸没式单相液冷”和“浸没式相变液冷”两种。
浸没式单相液冷。在浸没式单相液冷中,冷却液始终保持液体状态,发热部件直接浸没在冷却液中,热量从发热部件直接传导到冷却液中,循环泵将吸收了热量的冷却液(热液)导入热交换单元,在热交换单元中冷却后再循环回到箱体中为发热部件散热,冷却液在循环散热过程中始终维持液态,不发生相变。
浸没式单相液冷技术要求冷却液的沸点较高,以确保冷却液(一般为矿物油、合成油、天然油等氟碳化合物和碳氢化合物)在循环散热过程中始终保持液态,冷却液挥发流失控制相对简单,与IT设备的电气兼容性较好,且不需要频繁补充冷却液,还可以比较方便地卸载或更换服务器组件,提高了系统的可维护性。目前市面上商用的浸没式液冷应用案例大部分是采用浸没式单相液冷系统。
浸没式相变液冷。浸没式相变液冷的冷却液在循环散热过程中,不断经历从液态到气态,再从气态回到液态的相变。IT设备完全浸没在充满低沸点冷却液的密闭箱体中,冷却液受热沸腾变为蒸汽,蒸汽上升遇到机箱上部冷凝器而冷凝变为液体,继续回到箱体内部冷却循环。冷凝器外接冷源进行换热,将热量传递到外界散热并反复循环。通过冷却液在机箱内循环和冷凝器内乙二醇水溶液的外循环(双循环系统)实现高效散热,确保服务器运行稳定。
由于冷却液在循环散热过程中发生了相变,相变液冷传热效率更高,并且无需泵机驱动冷却液体循环,因此浸没式相变液冷相比冷板式液冷和浸没式单相液冷,具有更优的传热效果,可以满足高发热元器件对散热的极端要求,使得服务器可以保持满功率运行,是液冷中最节能、最高效的制冷模式。但是,由于冷却液蒸发为气态过程中会发生蒸汽外溢流失,浸没式相变液冷对于冷却液挥发流失控制更为复杂,所以对服务器箱体的密封性以及箱体的压力有一定的要求,同时还必须考虑相变过程的气压变化,以及系统维护时可能造成维护人员吸入气体的健康风险。另外,冷却液本身易受到污染,需要预处理和污染控制以确保系统的正常运行;浸没式液冷对于服务器板件的维护操作有所改变等。这些都是浸没式相变液冷技术成熟和商用化进程需要面对的挑战。
03 数据中心液冷化改造建设
数据中心液冷化改造适用技术
技术成熟情况。通过近些年的发展,冷板式液冷技术相比浸没式液冷技术更为成熟、生态比较完善。理论上,冷板式液冷技术对现有服务器芯片组件及附属部件改动量较小,液冷化改造可操作性相对较强。对于当前的数据中心整体架构及后续维护及日常使用等影响不大,运维模式、机房承重与传统风冷场景基本一致,可解决数据中心服务器设备80%的散热问题,而对于机柜内的硬盘、电源等其他发热部件依然需要传统风冷方式散热。
浸没式液冷可以获得更优的PUE值,也有企业推出了商用化改造建设解决方案,并落地了一些改造建设案例,但总体上还处于技术成熟和商业化完善阶段。例如,浸没式液冷改造对于服务器有一定的要求,服务器箱体需要定制、冷却液价格相对较高且有一定的挥发性,维护需要专用维护辅助设备(机械吊臂或吊车),大多数浸没式液冷服务器机柜对于机房承重提出更高的要求。
市场商用情况。从市场占有情况分析,目前冷板式液冷数据中心产品市场上占比较高,互联网巨头以及数据中心设备企业多推出了商用化冷板式液冷服务器,但商用化的浸没式液冷服务器很少,阿里巴巴等领先企业多采用企业定制化的浸没式液冷服务器。浸没式液冷是数据中心的跃迁式技术创新,相较于冷板式液冷制冷效率更高,具有高能效、高密度、高可用和高可靠性等特性,随着浸没式液冷技术的逐渐成熟和生态完善,未来浸没式液冷数据中心基础设施将可能会成为主流。
投资回收情况。液冷数据中心初期建设投资高于传统风冷数据中心,根据企业提供的数据,按照机架功率测算,每千瓦造价要高出约20%~40%。初步测算液冷带来的电费节省收益,大约2.5~4年液冷数据中心总体投资与风冷数据中心基本持平。具体投资测算受机架功率密度等配置和现场环境等影响存在差异,液冷机柜功率密度越高,单位造价越低。
表1 数据中心主流散热技术比较
综上所述,理论上,冷板式液冷技术是现网数据中心液冷化改造适用技术,虽然也有企业推出了浸没式单相液冷商用化改造解决方案和落地应用案例。但在具体改造实施上,由于改造必然涉及设备维保服务、量身化定制等技术实现细节,因此还需要结合现场环境及定制化、规模化等投入产出因素综合权衡决策。数据中心设备企业大都建议采用连同服务器和机柜全新替换方式改造建设传统风冷机柜。
数据中心液冷化改造对象
从数据中心类型分析,应用于人工智能、高性能计算(HPC)等高算力需求场景的算力中心或超算中心适合优先采用液冷化技术改造或液冷机柜升级迭代。这是因为算力中心或超算中心主要发热源是承担了大数据量计算或复杂计算的算力型服务器的主芯片(CPU、GPU)和内存,且对于CPU、GPU和内存的性能要求高,功耗和发热量也相对较高,适合部署液冷基础设施实现高效散热以发挥满载性能,同时也有助于进一步提升单机架功率密度实现更高计算性能的输出。
而存储类服务器,通常配置较多硬盘,且对于算力及性能要求一般,配置的CPU一般不需要采用性能和功耗较高的型号,液冷投资收益不高,因此从投资效益的角度,存储型服务器和网络设备建议仍采用传统风冷方式部署。
数据中心液冷化改造建设
以下基于冷板式液冷技术,对数据中心液冷化改造建设做一个初步概述:
数据中心机柜的液冷化改造建设。主要工作量在于对原有机柜及服务器的冷板式改造,改造内容是配电、布放管路、冷却液体流量分配单元CDU等,并同步配套调试漏液监测、堵塞等监控系统。
数据中心机房的液冷化改造建设。数据中心机房液冷化改造的主要工作在于铺设室内外液冷管道、安装冷却液体流量分配单元(CDU)、新建或改造冷却塔等。
数据中心机房的液冷化改造建设。根据初步市场调研情况,超聚变、浪潮、网宿科技等数据中心设备企业都已经推出了商用化改造解决方案,并落地了一些现网数据中心改造建设具体案例。液冷化建设已经为越来越多的数据中心企业所接受,进一步推动液冷化技术成熟和商业生态完善。