伴隨云計算、大數據、人工智能等技術的發展和應用，作為信息基礎設施的數據中心及相關設備承擔的計算量越來越大，數據中心服務器及通信設備自身處理能力和集成度不斷提高，同時也帶來了功率密度節節攀升的問題，高熱密度給制冷設備和技術提出了更高要求。受限于物理空間以及空氣比熱容低的特性，風冷技術難以滿足高功率元器件散熱負荷需求，如圖1所示。
同時，國家層面不斷推進數據中心綠色低碳建設要求，工信部等七部委聯合印發的《信息通信行業綠色低碳發展行動計劃(2022-2025年)》中明確提到，到2025年，全國新建大型、超大型數據中心能源利用效率（PUE）降到1.3以下。液體的冷卻能力是空氣的1000～3000倍，液冷技術以其高效的散熱能力，成為降低數據中心PUE的有效手段。
綜上所述，在數據中心建設引入液冷技術的必要前提下，需要統籌考慮液冷技術引入對數據中心硬件系統集成建設提出的新挑戰。本文將重點介紹冷板式、浸沒式、噴淋式液冷技術路線，聚焦冷板式液冷場景下數據中心硬件系統集成的技術要求，提出冷板式液冷場景下數據中心硬件系統集成方案。
1、液冷技術
液冷技術是一種以液體作為冷媒，利用液體流動將數據中心ICT設備內部元器件產生的熱量傳遞到設備外，使ICT設備的發熱部件得到冷卻，從而保證ICT設備安全運行。根據接觸方式的不同，液冷技術可分為間接接觸型液冷（冷板式液冷）和直接接觸型液冷（浸沒式液冷和噴淋式液冷）。
1.1間接接觸型液冷技術
間接接觸型液冷以冷板式液冷技術為主，該種技術路線將液冷冷板固定在ICT設備的主要發熱器件上， ICT設備熱源與冷卻液之間沒有直接接觸，通過液體流經冷板帶走熱量，從而散熱。
冷板式液冷技術的邏輯架構如圖 2 所示。其主要組件如下。
冷卻塔指將液體回路產生的熱量散布到室外空氣中的設備，一般情況下置于室外。 液冷分配單元（CDU）指對液冷電子設備進行冷卻液體流量分配，主要有兩種物理形態，分別為柜式CDU（外置于全液冷機柜）和框式CDU（內置于全液冷柜）。 液冷機柜指用于冷卻液體的進出，并冷卻電子設備的裝置。 一次側也叫一次管路，指連接冷卻塔到液冷分配單元及液冷機柜的循環水系統。 二次側也叫二次管路，用于連接液冷分配單元到液冷元器件（液冷機柜中）的冷卻循環水系統。其中， 供回液歧管作為二次側回路中的關鍵部件之一，可分配流入或流出液冷機架內設備的冷卻工質。
從應用場景、行業應用現狀及技術本身的優劣勢等多個方面對冷板式液冷技術進行分析，具體分析結果見表一。
1.2直接接觸型液冷技術
直接接觸型液冷技術指的是將電子設備的發熱部件直接與冷卻液進行接觸的冷卻方式，主要包括浸沒式液冷和噴淋式液冷兩種技術路線。
浸沒式液冷指通過浸沒電子設備的發熱器件，將發熱器件與冷卻液體直接接觸，通過熱交換進行冷卻。涉及的主要設備和設施包括室外冷源、冷卻子系統、液冷管路和浸沒腔體（液冷機箱）等。浸沒式液冷可依據介質是否存在相變化分為單相浸沒式液冷和相變浸沒式液冷兩種類型。
單相浸沒式液冷的實現原理是通過浸沒腔體子系統中的冷卻液對電子設備熱負載直接接觸進行吸熱，升溫后的冷卻液在冷卻子系統中的循環泵和換熱器作用下將熱量傳遞給一次側冷卻介質，最終通過室外冷源將熱量釋放到室外環境中。
兩相浸沒式液冷的實現原理是通過浸沒腔體子系統中冷卻液冷對電子設備熱負載直接接觸式相變吸熱，相變后的氣態冷媒與浸沒腔體內的冷凝器進行熱交換，將熱量傳遞給冷卻介質后變成液體，液體受重力作用流回腔體，吸收熱量的冷卻介質經室外冷源設備將熱量釋放到室外環境中。
噴淋式液冷技術指的是通過在機箱頂部儲液和開孔，對發熱的電子器件噴淋冷卻液，從而達到降溫的目的。涉及的主要設備和設施包括室外散熱模塊、冷量分配單元、液冷管路、噴淋液冷機柜（進液箱和回液箱） 等。噴淋式液冷將在冷量分配單元內冷卻后的冷卻液泵輸送至噴淋機柜內部 ；冷卻液進入機柜后直接通過分液器進入與設備相對應的布液裝置進行噴淋 ；冷卻液通過電子設備中的發熱器件或與之相連的導熱材料進行噴淋制冷 ；被加熱后的冷卻液通過回液箱進行收集，并通過泵輸送至冷量分配單元進行下一個制冷循環。
針對浸沒式液冷技術和噴淋式液冷技術，分別從應用場景、行業應用現狀及技術本身的優劣勢進行多維度分析，具體分析結果見表 2。
2、傳統數據中心硬件系統集成方案
傳統數據中心硬件系統集成主要完成工程項目中硬件層多廠家、多類型設備的硬集方案規劃、集成實施和聯調交付等工作， 是工程設計的延伸和落地，為軟件系統集成 入場實施提供必要的硬件系統環境。傳統數據中心硬件系統集成工作流程如圖3所示。
傳統數據中心硬件集成方案中的重點工作環節說明如下。
集成方案設計。對數據中心硬件組網拓撲、機柜布局、配電情況、物理連線信息、服務器配置信息、 交換機端口配置信息、路由配置信息、安全設備配置信息和設備管理信息等進行規劃設計。
站點工勘。查勘內容包括機房環境、機柜布局、 機架功率、橋架路由、供電方式和冷卻方式等。根據查勘結果，依據工程分工界面，對項目所需如線纜等材料的長度、顏色等規格做出明確采購方案，對機房內必要 改造所需輔材制定明確采購方案。
輔材提供。根據設計圖紙和分工界面，由對應責任單位提供相關輔材。輔材主要包括線纜和工程建設所需的必要輔材，如扎帶、加強型托盤、L托架、冷壓端子、魔術貼、光纖套管、繞纖筒、下纖槽、工業連接器、標簽、 銅鼻子、纏繞管、接線柱、理線架和保溫棉等。
硬件安裝督導。督導數據中心工程建設項目所有主設備安裝上架、加電，督導完成所有線纜布放及互聯，且完成相應網絡互通配置。設備及配套材料安裝需符合相關工藝標準和要求。
設備初始化調測。完成所有硬件設備本機基礎配置與調測，如服務器BMC、RAID、BIOS等配置與調測，硬件管理接入交換機、管理核心交換機等的基礎配置與調測，完成硬件管理網絡互通。
連通性測試。數據中心工程建設項目所有硬件設備以集成設計方案為準繩進行配置檢查，電源和物理線纜按設計完成連接和互通性測試，確認所有設備硬件管理IP地址可達。
配合軟件集成商。配合軟件集成商完成技術方案中所涉及的各種設備組網、業務功能分析等。配合進行軟硬件系統部署調測，對軟件集成過程中產生的計算、 網絡和存儲等資源需求的變更進行相應調整，協助軟件集成商進行軟硬件多廠家間問題界定、協調與管理。
3、液冷數據中心硬件系統集成技術方案
液冷場景下的數據中心硬件系統集成方案，應在參照傳統數據中心硬件系統集成流程的基礎上，在集成規劃、集成實施和聯調交付階段針對液冷數據中心技術特點進行調整與適配，以滿足液冷數據中心工程建設要求。下面將以當前成熟度最高、市場應用最為廣泛的冷板式液冷技術方案為例，對液冷數據中心硬件系統集成的重點環節進行分析。
3.1站點工勘階段
一般情況下，液冷系統一次側設備及管路的安裝由 基建或機電專業負責，不在數據中心硬件系統集成范圍之內。但是，因為CDU需要和一次側管路對接，站點工勘過程中需要重點關注一次側循環水質，一次側循環水水質的好壞直接影響CDU的換熱效率和使用壽命。為支撐液冷系統長期穩定運行，CDU一次側閉式循環水系統水質關鍵指標項見表3。
3.2設備到貨階段
為保障液冷系統氣密性，一般液冷機柜、服務器和交換機等設備在出廠時，會在液冷管路中填充保壓氣體。設備到貨后，除常規檢查外，首先應重點關注液冷管路完整性，有條件情況下，可以抽測液冷管路中的保壓氣體壓力值是否正常 ；其次，設備搬運工程時，在遵守安全施工相關規章制度的同時，應著重關注承壓管路的保護。
3.3硬件安裝階段
3.3.1 CDU 及二次側管路安裝
二次側管路將 CDU 和末端設備冷板相連，一般連接方式有直連和環形管路連接兩種。環形管路是二次側回路中的一個關鍵部件，用于連接CDU的二次側和機架歧管，實現冷卻工質均勻分配 ；環形管網包含供液環管、回液環管、CDU支路、機架歧管支路、排氣裝置和排液口等，用以供液環管和回液環管分別形成環狀閉合回路，且提高環狀閉合回路系統的流量均勻性。另外， 環形管網中無死端，液體一直處于流動狀態，不易變質。
每個CDU支路和機架支路上都安裝有閥門連接CDU和機架歧管，便于單個設備的維護。為確保局部管段檢修或發生故障時，其它管段能正常運行，不間斷供液， 應采用閥門將環形管網分成若干獨立段，一般相鄰機架管路段之間用閥門隔開，也可將多個機架管路隔開。
3.3.2 主設備安裝前檢查
主設備安裝前，需要對CDU及二次側管路的氣密性進行檢查，進行泄露檢測與干預。減少泄漏的主要方法是采用穩健的泄漏預防策略。同時，在實際設備安裝操作中，需要制定完善的泄漏管理計劃，管理計劃包括泄漏檢測和干預，且需要滿足數據中心的設施運行要求。
在二次側冷卻回路中，需要在不同存在泄漏風險的位置進行檢測，如CDU、機架、快換接頭、計算節點等， 可采用間接檢測方法，通過監測和分析現有硬件和傳感器的狀態，檢測并識別到管路中與泄漏特征匹配的微小壓降或流量變化。而直接檢測方法是在高風險區域部署專用泄漏檢測硬件。典型的直接檢測裝置為點探測器、薄膜檢測帶或泄漏檢測線纜，當其與泄漏的導電冷卻液接觸時會記錄并告警。為了進行可靠的泄漏檢測， 其傳感器應放置在發生泄漏時冷卻工質與之直接接觸或有可能聚集后再接觸的區域，如機架、CDU、二次側環路管道等設施的下方，以檢測二次側環路管路和機架之間或冷卻工質輸送過程中的潛在泄漏風險。
3.3.3 主設備安裝
服務器和交換機等設備安裝需要根據工程設計圖紙及集成方案組織相關工作。設備安裝前需要做好機房內部成品防護工作，避免給機房環境帶來破壞。設備安裝需提前完成設備出庫和拆包裝等工序，組織施工人員進行技術培訓，聯合設備廠家進行設備安裝指導，避免設備安裝方式錯誤導致設備損壞的情況。
針對采用冷板式冷卻方式的液冷設備及機柜的安裝，流程如圖4所示。
在設備安裝過程中，重點需要進行氣密性檢查，各設備檢查內容見表4。
3.3.4 標簽粘貼
設備安裝、綜合布線等工作完成后，除常規進行設備和線纜等部件的標簽標記工作外，還應注意對液冷管路的標簽標記。在標簽制作與粘貼的過程中，標簽的顏色、尺寸、內容、格式和粘帖位置等需符合工程建設項目相關要求。
3.4集成調測階段
主設備及液冷系統安裝完成后，需要對安裝完成后的設備/系統進行集成調測。除常規進行網絡、服務器、存儲和安全等設備的基礎調測，還需要對液冷系統進行集成調測，其中主要完成CDU設備的調測。CDU設備調測的主要內容包括登錄參數設置、電磁閥/傳感器控制策略設置和告警設置等。
3.5驗收測試階段
集成測試工作完成，且所有測試項均達到測試標準后，可以組織硬件集成的驗收工作。整體驗收過程應參考驗收規范要求，涵蓋機房環境、硬件安裝工藝檢查、設備 配置、連通性及健壯性、安全性等內容。針對液冷數據中心硬件集成系統，需著重關注的驗收測試內容見表5。
?4、結束語
中國“雙碳”目標的提出，對數據中心發展提出更高的能耗要求。液冷行業也在不斷完善產業鏈，提高原材料和配件的通用性和可獲得性，降低成本。為積極應對液冷數據中心建設提出的新要求，液冷數據中心硬件系統集成工作急需更新與適配，針對不同液冷技術方案， 形成標準的、可執行的硬件系統集成作業模式，推動液冷數據中心硬件系統集成工作的高質量發展。
from：?熱能工匠
