데이터센터는 그 어느 때보다 더 많은 열을 발생시키고 있습니다. 냉각 시스템도 이에 발맞춰야 합니다.

데이터센터는 수십 년간 디지털 시대를 이끌어 왔으며, 오늘날에는 세상과 우리의 삶을 변화시키는 다양한 AI(인공지능) 애플리케이션을 지원하고 있습니다. 하지만 최근 들어 데이터센터의 전력 수요가 급격히 증가하고 있습니다.

텍사스 인스트루먼트의 데이터센터 열 관리 총괄 책임자인 Patrick Zeng은 “25년 전만 해도 일반적인 데이터센터 랙의 전력 소비량은 약 5kW 수준이었습니다.”라고 말합니다. “오늘날의 랙은 100kW가 넘는 전력을 소비할 수 있으며, 향후 몇 년 내에는 일부 랙의 전력 소비량이 1메가와트를 넘어설 수도 있습니다.”

이 모든 전력은 결국 어딘가로 방출되어야 합니다. 서버가 소비하는 전력은 거의 모두 열로 변환되어 데이터센터 내부로 다시 방출됩니다. 이러한 열을 관리하는 것은 오늘날 데이터센터 설계 직면하는 가장 까다로운 엔지니어링 과제 중 하나입니다.

Patrick은 “햇볕 아래에서 달리면 몸이 뜨거워집니다.”라고 말합니다. “우리 몸은 신진대사를 통해 체온을 낮춰 열사병에 걸리지 않도록 합니다. 열 관리가 데이터센터에서 하는 역할도 바로 이와 같습니다.”

서버가 과열되면 성능이 저하되고 비용이 증가합니다. 대규모 언어 모델을 예로 들어 보겠습니다. AI 모델은 연산의 기본 단위인 작은 텍스트 조각인 토큰을 사용하여 언어를 처리하고 생성합니다.

Patrick은 “GPU가 과열되면 토큰을 빠르게 생성할 수 없습니다.”라고 말합니다. “그 결과 최종 사용자는 더 느린 응답을 경험하게 되고, 데이터센터 운영자의 응답 제공 비용도 더 높아집니다. ”

기존의 냉각 인프라만으로는 이러한 변화의 속도를 따라잡을 수 없습니다. 이에 엔지니어들은 시설 수준에서든 서버 트레이 수준에서든 데이터센터에서 열을 제거하는 방식을 새롭게 설계하기 위해 속도를 내고 있습니다.

공기 냉각만으로는 충분하지 않을 때

수십 년 동안은 공기 냉각만으로도 충분했습니다. 팬은 뜨거운 부품에 차가운 공기를 불어넣고 열을 외부로 배출하여 데이터센터가 안정적으로 작동하도록 했습니다. 하지만 AI의 확산으로 랙 전력이 20kW~40kW를 넘어서면서 공기 냉각만으로는 더 이상 열을 충분히 빠르게 제거할 수 없게 되었습니다. 이에 엔지니어들은 공기 냉각과 액체 냉각을 결합하여 대응하고 있습니다.

서버 주변의 공기를 냉각하는 대신, 액체 냉각은 열이 발생하는 지점에서 직접 열을 제거합니다. 콜드 플레이트는 서버 트레이 내부의 칩에 직접 맞닿아 있어, 액체가 공기보다 훨씬 효율적으로 열을 제거할 수 있도록 합니다.

이제 엔지니어들은 서버 랙과 외부 시설 인프라 사이에서 냉각수를 순환시키는 CDU(냉각수 분배 장치)부터 반개별 트레이에 이르기까지 데이터센터 시설 전에 이러한 방식을 적용하고 있습니다. 하지만 액체를 전자 장치에 이처럼 가까이 배치하려면 비용이 크게 증가할 수 있으며, 이러한 과제를 해결하려면 냉각수를 순환시키고 모니터링하며 제어할 수 있는 다양한 부품으로 구성된 에코시스템이 필요합니다.

액체 냉각을 위한 핵심 구성 요소

Patrick은 “액체 냉각수를 모니터링하는 것은 전체 열 관리 시스템의 안정적인 작동을 보장하는 데 매우 중요합니다.”라고 말합니다. 그래서 엔지니어들은 온도와 습도를 추적하여 이상 징후가 있는지 냉각수를 지속적으로 모니터링합니다.

CDU에는 시스템 전체에 냉각수를 순환시키는 펌프와 팬이 탑재되어 있으며, 이들은 냉각 루프의 기계적 핵심 역할을 합니다. 모터 드라이버는 이러한 펌프와 팬을 제어하며, 고장에 대비한 보호 기능도 내장되어 있습니다. 밸브는 실시간 수요에 따라 열리거나 닫히면서 각 트레이로 공급되는 냉각수의 양을 조절합니다. 

센서는 유량, 온도, 습도 및 압력을 모니터링하여 누출이나 부품 고장의 초기 징후를 감지합니다. 마이크로컨트롤러는 이 모든 요소를 통합하여 센서 데이터를 실시간으로 처리하고 그에 따라 시스템을 조정합니다.

Patrick은 “데이터센터에서는 안정성이 항상 최우선 고려 사항입니다.”라고 말합니다. 펌프가 고장 나거나 센서가 잘못된 값을 감지하면 AI 컴퓨팅 부품이 탑재된 랙 전체가 오프라인 상태가 될 수 있습니다.

안정성 기준을 충족하려면 모든 단계에서 정밀성이 요구됩니다. TI의 포트폴리오는 데이터센터 시설 전체를 냉각하는 HVAC(난방, 환기 및 공조) 시스템부터 랙에 냉각수를 공급하는 CDU, 개별 서버 트레이에 이르기까지 전체 냉각수 경로를 아우릅니다.

Patrick은 “우리는 처음부터 새로 시작하는 것이 아닙니다.”라고 말합니다. “우리는 빌딩 자동화 및 가전제품 분야에서 수년간 사용해 온 상업용 HVAC(난방, 환기 및 공조) 시스템 기술을 기반으로 발전해 나가고 있습니다. 즉, 이미 기반 기술이 갖춰져 있기 때문에 출시 기간을 단축할 수 있습니다. 또한 이미 검증된 기술이기 때문에 높은 안정성을 확보할 수 있습니다.”

열 관리의 미래

랙 전력이 메가와트 수준으로 증가하고 이에 따라 운영자들이 새로운 냉각 기술을 도입하더라도, 안정성은 엔지니어들이 계속 해결해야 할 설계 과제로 남습니다.

데이터센터 냉각의 안정성을 높이기 위한 차세대 기술은 엣지 AI와 센서 융합을 통해 여러 센서를 결합하는 것입니다. 오늘날의 시스템은 누출을 감지하기 위해 단일 센서에 의존하는 경우가 많습니다. 미래의 시스템은 모터 전류, 컴프레서 속도, 습도, 압력, 온도 등 다양한 실시간 신호를 종합적으로 분석하여 단일 센서로는 감지할 수 없는 미세한 패턴을 인식하게 될 것입니다. 이러한 신호 간의 상관관계를 분석하는 작업은 기존의 규칙 기반 소프트웨어로 처리하기에는 너무 복잡합니다.

Patrick은 “엣지 AI는 빠른 응답 시간과 짧은 지연 시간이라는 고유한 이점을 제공합니다.”라고 말합니다.

열 관리가 어떤 형태로 발전하든 그 목적은 변하지 않습니다. 즉, 엔지니어에게 AI 서비스의 빠른 응답성과 데이터센터의 안정성을 유지할 수 있는 도구를 제공하고, 운영자가 비용을 관리할 수 있도록 지원하며, 현대 컴퓨팅을 뒷받침하는 인프라가 오늘날 AI가 요구하는 속도에 맞춰 지속적으로 운영되도록 하는 것입니다.