NVIDIA 데이터센터 하드웨어는 ‘온수 욕조보다 뜨거운’ 물로 냉각되고 있습니다.

오늘(또는 앞으로도) 읽지 않을 것으로 예상했던 질문은 다음과 같습니다. AI 슈퍼컴퓨터와 온수 욕조의 공통점은 무엇입니까? 농담의 시작처럼 들리지 않나요? 그러나 진실은 온수 욕조가 섭씨 38도에서 40도 정도에서 작동하는 반면, NVIDIA의 최신 AI 서버는 “냉각” 액체를 섭씨 45도(화씨 113도)까지 더 뜨겁게 밀어낸다는 것입니다.

거꾸로 들릴 수도 있습니다. 뜨거운 액체를 흐르게 하면 어떻게 서버실을 식힐 수 있을까요? 기존 접근 방식에서는 데이터 센터에서 차가운 공기에 엄청난 양의 에너지를 쏟아부은 다음 차가운 공기를 모든 구성 요소에 밀어넣고 시끄러운 팬과 냉각기를 가동하여 칩을 편안하게 유지했습니다. 이제 냉각수가 뜨거워지면 실외 건식 냉각기가 냉각 장치 없이 스스로 열을 발산할 수 있습니다. 이 모든 것이 어떻게 작동하는지 이해하고 나면 데이터 센터를 냉각하는 기존 방식이 꽤 낭비적이라는 것을 알게 될 것입니다.

NVIDIA의 Rubin 세대 AI 인프라는 완전 수냉식입니다. 서버실에 있을 때는 팬도 없고, 차가운 통로도 없으며, 냉동고에 들어갈 필요도 없습니다. 닫힌 루프를 통해 조용히 순환하는 액체입니다. 이는 역사적으로 냉각이 데이터 센터 전기 요금의 최대 40%를 차지했기 때문에 중요한 업데이트입니다. 업계 추정에 따르면 냉각기 온도를 1도만 올리면 냉각 에너지 비용이 약 4% 절감됩니다. 이를 최대 50메가와트 시설로 확장하면 연간 약 400만 달러의 에너지를 절약할 수 있습니다.

물 절약 효과도 놀랍습니다. 기존 냉각탑 시스템은 연간 메가와트당 약 260만 갤런의 물을 소비할 수 있습니다. NVIDIA의 새로운 45도 액체 냉각 아키텍처는 이 수치를 거의 0으로 낮출 수 있습니다.

이는 대규모 데이터 센터의 냉각 시스템을 전면적으로 점검하는 것입니다. 증발 냉각, 급수탑, 지속적인 배수가 없는 폐쇄 루프 시스템은 데이터 센터 비용뿐만 아니라 환경에도 영향을 미칩니다.

수십 년 동안 데이터 센터 업계는 추위가 안전하다는 가정하에 작업해 왔습니다. 방은 시원할수록 좋습니다. 그러나 실리콘 칩은 본질적으로 뜨거워집니다. NVIDIA의 데이터에 따르면 섭씨 45도에서 완전 수냉식 프로세서에 들어가는 냉각수는 칩의 열 부하를 흡수한 후 약 55도에서 배출됩니다. 수냉식 냉각판이 모든 것을 안전한 작동 한계 내로 유지하기 때문에 칩은 계속 최대 성능으로 작동합니다. 또한 이를 통해 실외 건식 냉각기는 기계식 냉각기 없이도 일년 내내 효율적으로 열을 거부할 수 있습니다. 물론 여기에서도 지리가 중요한 역할을 합니다. 왜냐하면 사막에서는 산에서와 마찬가지로 동일한 온도 관리 기대치를 가질 수 없기 때문입니다.

이는 또한 보다 조용한 데이터 센터로 변환될 것입니다. 일반적으로 냉각 팬, 백업 발전기 및 냉각 시스템에서 발생하는 큰 소음을 차단하려면 데이터 센터 내부에서 귀 보호 장치가 필요합니다. NVIDIA의 Rubin 아키텍처는 이 모든 것을 삭제합니다.

NVIDIA의 Rubin 장비는 에너지 및 물 소비 비용을 절감하고 소음 수준을 줄이는 데 그치지 않습니다. 서버는 공간 효율성도 더 높습니다. 설계 덕분에 이전에는 6개의 랙 장치를 차지했던 시스템이 이제 2개의 랙 장치에 들어맞습니다.

궁극적으로 NVIDIA의 새로운 서버 아키텍처는 높은 에너지 소비, 막대한 물 사용량, 소음 공해 및 토지 이용과 같은 데이터 센터의 가장 성가신 문제 중 일부를 해결할 수 있는 잠재력을 가지고 있습니다. 이는 기존 데이터 센터의 문제를 해결하지는 않지만 앞으로는 개선될 것으로 기대됩니다.