Microsoft 데이터 센터의 AI 칩 레밸 냉각기술 (25.9.25)

 
최신 AI 기술을 구동하는 데이터센터용 칩은 이전 세대보다 훨씬 더 많은 열을 발생시킵니다. 휴대폰이나 노트북이 과열된 경험이 있다면 알 수 있듯, 전자기기는 높은 열에 취약합니다. AI 수요와 칩 설계가 계속 고도화됨에 따라, 현재의 냉각 기술만으로는 몇 년 안에 한계에 부딪힐 수 있습니다.
 

마이크로소프트는 데이터센터의 막대한 전력 소비와 환경 문제를 해결하기 위해 다양한 혁신적인 냉각 기술을 개발하고 있습니다. 최근에는 물 소비량을 획기적으로 줄이는 '제로 워터 냉각' 기술과 더 효율적인 '칩 레벨 냉각' 기술에 집중하고 있습니다.

 

그 중에서 오늘은 최근 발표한 '칩 레벨 냉각' 기술에 대해서 설명하고자 합니다.

 

 

---

 
칩 레벨 냉각 (마이크로플루이딕스/마이크로 유체 기술)

• 원리: 칩 위에 냉각판을 놓는 방식이 아니라, 칩 자체에 미세한 통로를 만들어 냉각액이 직접 칩 내부를 순환하며 열을 식히는 방식. 마치 나뭇잎의 잎맥처럼 냉각액이 흐르게 됩니다.
• 장점: AI 칩 (GPU, HBM이 함께 패키징된 칩) 과 같이 발열량이 매우 높은 부품의 열을 훨씬 효과적으로 제거할 수 있으며, 기존 냉각판 방식보다 최대 3배 높은 열 제거 효율을 제공합니다.

 

마이크로플루이딩 제조 과정 및 쿨링 성능 예시

 
 
마이크로소프트는 기존의 첨단 냉각 기술인 콜드 플레이트(cold plate)보다 최대 3배 높은 성능을 발휘하는 새로운 냉각 시스템을 성공적으로 테스트했습니다.

이 시스템은 마이크로플루이딕스(Microfluidics) 방식으로, 냉각액을 열이 발생하는 실리콘 칩 내부까지 직접 전달합니다. 이를 위해 칩 뒷면에 미세한 채널을 새겨, 냉각액이 열원에 직접 도달할 수 있도록 설계되었습니다.

또한 또한 AI를 활용해 칩의 고유한 열 특성을 식별하고 냉각액을 정밀하게 유도합니다.
 

마이크로소프트는 마이크로플루이딕스를 활용해 실리콘 칩을 냉각하는 새로운 방식을 선보였습니다. 연구팀은 실리콘 내부에 냉각 액체가 직접 흐를 수 있도록 채널을 새겨 열을 보다 효율적으로 제거할 수 있게 했으며, AI를 활용해 칩의 고유한 열 분포를 식별하고, 냉각제를 보다 정밀하게 분사하도록 했습니다. 출처: 마이크로소프트

 

 

연구자들은 마이크로플루이딕스 기술이 차세대 AI 칩의 효율을 높이고, 지속가능성도 개선할 수 있다고 말합니다. 현재 데이터센터에서 사용되는 대부분의 GPU는 콜드 플레이트 방식으로 냉각되고 있지만, 이 방식은 열원과 냉각판 사이에 여러 층이 있어 열 제거 효율이 제한됩니다.
 
AI 칩의 성능이 세대를 거듭할수록 더 강력해지면서, 발생하는 열도 점점 더 커지고 있습니다. 사시 마제티(Sashi Majety) 마이크로소프트 클라우드 운영 및 혁신 부문의 수석 기술 프로그램 관리자(Senior Technical Program Manager for Cloud Operations and Innovation)는 “계속해서 전통적인 콜드 플레이트 방식에 의존한다면, 앞으로 5년 안에 사실상 막다른 길에 다다르게 될 것”이라고 지적했습니다.
 
그리고 오늘(25.9.24), 마이크로소프트는 마이크로플루이딕스 냉각 시스템을 실제 서버에 적용해, 팀즈(Teams) 회의 시뮬레이션의 핵심 서비스를 효과적으로 냉각하는 데 성공했다고 발표했습니다.

---

 
마이크로플루이딕스 개념 자체가 새로운 것은 아니지만, 업계 전반에서는 이를 실제로 구현하는 데 어려움이 있었습니다.
 
특히 채널을 설계하는 과정은 매우 까다롭습니다. 마이크로채널의 크기가 사람 머리카락 굵기와 비슷할 정도로 작아서, 아주 작은 오차도 허용되지 않기 때문입니다. 마이크로소프트는 개발 과정에서 스위스의 스타트업 코린티스(Corintis)와 협력해, AI를 활용해 자연에서 영감을 받은 설계를 최적화했습니다. 이 방식은 잎맥이나 나비 날개에 있는 정맥처럼 생겼으며, 자연은 필요한 것을 가장 효율적으로 분배하는 경로를 찾는 데 능숙합니다.
 
또한 칩에서 누수가 발생하지 않도록 하는 패키지 설계부터, 최적의 냉각액 조합을 찾는 작업, 다양한 식각 방식을 테스트하는 과정, 그리고 식각 공정을 칩 제조 단계에 차례대로 통합하는 작업이 필요했습니다.

출처: 마이크로소프트, 에칭된 마이크로플루이드 냉각 채널이 있는 칩.

 
이번 성과는 AI 서비스와 기능에 대한 수요를 충족하기 위해, 마이크로소프트가 인프라에 투자하고 혁신을 이어가고 있는 하나의 사례입니다. 마이크로소프트는 이번 분기에만 300억 달러 이상을 자본 지출에 투자할 계획입니다.
 
이러한 투자에는 마이크로소프트와 고객의 워크로드를 더 효율적으로 실행하기 위해 설계된 코발트(Cobalt)와 마이아(Maia) 칩 개발도 포함됩니다. 실제로 코발트 100(Cobalt 100) 칩을 배포한 이후, 마이크로소프트와 고객들은 에너지 효율적인 컴퓨팅 성능과 더 나은 확장성, 향상된 성능의 혜택을 체감하고 있습니다.
 

출처: 마이크로소프트

 
 
 
마이크로플루이딕스는 마이크로소프트가 차세대 냉각 기술을 발전시키고, 클라우드 스택 전반을 최적화하기 위해 추진 중인 이니셔티브의 일부입니다. 전통적으로 데이터센터는 대형 팬을 이용해 공기를 불어넣는 방식으로 냉각해 왔지만, 액체는 공기보다 열을 훨씬 더 효율적으로 전달합니다.
 

출처: 마이크로소프트

 
마이크로소프트는 이미 데이터센터에 콜드 플레이트 기반 액체 냉각 방식을 적용한 바 있습니다. 이 방식은 칩 위에 장착된 콜드 플레이트 안으로 차가운 냉각수가 들어가 내부 채널을 순환하며 칩에서 발생한 열을 흡수하고, 데워진 냉각수가 외부로 빠져나가 다시 식는 구조입니다.
 

출처: 마이크로소프트, Maia100 AI 가속기 칩 표면에 부착되어 있는 cold plate 방식의 쿨링 시스템. plate 의 채널을 통해서 열교환이 이루어진다.

 
칩은 열을 분산시키고 외부로부터 보호하기 위해 여러 층의 소재로 패키징됩니다. 하지만 이러한 소재들은 일종의 담요처럼 작용해, 열은 빠져나가지 못하게 하고 냉기는 들어오지 못하게 막으면서 콜드 플레이트의 성능을 제한합니다. 앞으로 AI에 최적화된 차세대 칩은 지금보다 훨씬 더 강력해질 것으로 예상되며, 콜드 플레이트만으로는 냉각이 어려울 정도로 뜨거워질 수 있습니다.
 
반면, 마이크로플루이딕스 채널을 통해 칩을 직접 냉각하는 방식은 단순히 열을 제거하는 데 그치지 않고, 시스템 전체의 운영 측면에서도 훨씬 더 효율적입니다. 절연층이 사라지고, 냉각수가 뜨거운 실리콘 표면에 직접 닿기 때문에 냉각수를 지나치게 낮은 온도로 유지할 필요가 없어지고, 그만큼 냉각에 필요한 에너지도 크게 줄일 수 있습니다. 동시에 콜드 플레이트보다 더 효과적인 냉각 성능을 발휘하며, 발생한 폐열 역시 더 높은 품질로 활용할 수 있게 됩니다.
 

출처: Equnix, 데이터센터에서 발생한 열을 주변 공장이나 시설에서 재활용

 

---

현실 - JP모건 코멘트

마이크로소프트(MSFT)가 미세유체공학(microfluidics)을 이용한 새로운 냉각 시스템을 연구 중이라는 소식(블로그 게시물을 통해 발표)에 버티브(VRT)를 비롯한 산업재 부문의 다른 액체 냉각 관련주들이 급락 (25.9.23일 -6% 수준 하락) 했습니다.

하지만 버티브의 주가 하락에 대해 이미 많은 반박이 나오고 있습니다. 기사에 따르면 MSFT는 미세플루이드가 콜드 플레이트(cold plates)를 대체하기 좋은 기술이라고 보고 있는데, 이에 대한 반박 내용은 다음과 같습니다.

1. MSFT가 콜드 플레이트를 대체하기 위해 미세유체공학 기술을 연구해 온 것은 새로운 소식이 아닙니다 (관련하여 Data Center Dynamics의 2024년 초 장문 기사 참조).
2. 투자자들은 이것이 액체 냉각 시스템 전체가 아닌 콜드 플레이트만을 대체하는 것으로 보고 있습니다. 따라서 이것이 버티브나 다른 기업의 액체 냉각 제품에 대한 전체 시장 규모(TAM)나 수요를 변화시키지는 않을 것이라고 생각합니다.

지난 7월 아마존(AMZN)이 AWS를 위한 자체 액체 냉각 솔루션의 진전을 공유했을 때 액체 냉각 관련주에 대한 시장 패닉(및 버티브 매도세)이 있었던 것과 마찬가지로, 오늘의 반응 역시 '선매도 후질문(shoot first ask questions later)' 식의 대응입니다. 
 

각주: 발표 자료를 보면 적용한 마이크로플루이드를 적용은 팀즈 회의 시뮬레이션 시스템 과 ARM CPU 칩 Cobalt 로 실제 AI 가속기 칩에는 아직 미적용된 것으로 보입니다.  또한 마이크로플루이드를 적용할 Maia 칩 생산은 2025년에 100k 수준으로 다른 AI 가속기 (TPU, Trainium) 대비 수요가 낮아서 Maia 200  의 경우 설계 (마블 / MRVL) 변경으로 출시가 2026년으로 연기되었으며 그 성능 또한 엔비디아에 미치지 못할 것으로 예상되고 있습니다.  이에 따라 칩 레밸 냉각 기술의 실제 AI 가속칩에 적용되는 것으로 상당한 시간이 필요해 보입니다.

 
당시 매도세는 여러 이유로 AWS의 업데이트가 액체 냉각(LC) 공급망을 대체하거나 배제하는 것으로 이어지지 않으며 오히려 수요 강세를 강조한다는 점을 투자자들이 깨달으면서, 당일 장중 및 며칠 내에 저점 매수세가 유입되며 마무리되었습니다. 강세론자들은 그날 시장 반응에도 즉시 이 점을 주장했지만, 시장이 반응하는 데는 시간이 조금 걸렸습니다.
 

Working Cite

[1] https://news.microsoft.com/source/asia/features/microfluidics-liquid-cooling-ai-chips

더 뜨거워지는 AI 칩, 마이크로플루이딕스로 최대 3배 더 잘 냉각 - Source Asia

[2] https://news.microsoft.com/source/features/ai/in-house-chips-silicon-to-service-to-meet-ai-demand/?msockid=0d710b8d313360371e1f1f27301e6148

With a systems approach to chips, Microsoft aims to tailor everything ‘from silicon to service’ to meet AI demand - Source

[3] https://datacenters.microsoft.com/wp-content/uploads/2025/09/Microfluidic-Cooling-Infographic.pdf
[4] https://x.com/theaustinlyons/status/1970606869501878561