spedtrder's blog spedtrder's blog

Imec mitigates thermal bottleneck in 3D HBM-on-GPU architectures using a system-technology co-optimization approach 2025 IEEE 국제 전자소자 회의(IEDM)에서 첨단 반도체 기술 분야의 세계적인 연구 센터인 imec은 차세대 AI 애플리케이션을 위한 유망한 컴퓨팅 아키텍처인 3D HBM-on-GPU(그래픽 처리 장치 내 고대역폭 메모리)에 대한 최초의 열 시스템-기술 공동 최적화(System-Technology Co-Optimization / STCO) 연구를 발표했습니다. 기술과 시스템 수준의 완화 전략을 결합함으로써, 현실적인 AI 학습 워크로드에서 최대 GPU 온도를 140.7°C에서 70.8°C로 낮..

Huawei Ascend Production Ramp: Die Banks, TSMC Continued Production, HBM is The Bottleneck 컴퓨팅은 AI의 생명선입니다. 향신료를 지배하는 자가 우주를 지배하고, 컴퓨팅은 토큰 생산을 통제하고 AI의 이점을 누릴 것입니다. 컴퓨팅이 없다면 누구도 이 자리에 설 수 없습니다. 미국 기술계는 차세대 플랫폼으로 컴퓨팅과 AI에 모든 것을 걸고 있으며, 현재 놀라운 속도로 컴퓨팅을 추가하고 있습니다. 경쟁이 존재하며, 이는 기업뿐만 아니라 국가 간에도 존재합니다 . 미국 정부는 중국의 컴퓨팅 역량 증가를 제한하기 위해 일련의 수출 통제 조치를 시행했습니다. 현재 미국은 컴퓨팅 부문을 장악하고 있으며, 전 세계 배포된 플롭(FLOP)의 70%..

Scaling the Memory Wall: The Rise and Roadmap of HBMHBM에 대한 간략한 개요AI 모델의 복잡성이 증가함에 따라 AI 시스템은 더 높은 용량, 더 낮은 지연 시간, 더 높은 대역폭, 그리고 향상된 에너지 효율을 갖춘 메모리를 필요로 합니다. 메모리 종류에 따라 장단점이 있습니다. SRAM은 매우 빠르지만 밀도가 낮습니다. DDR DRAM은 밀도가 높고 저렴하지만 대역폭이 부족합니다. 현재 가장 널리 사용되는 메모리는 용량과 대역폭의 균형을 맞춘 온칩 HBM입니다. HBM은 수직 적층 DRAM 칩과 초광대역 데이터 경로를 결합하여 AI 워크로드에 최적화된 대역폭, 밀도, 에너지 소비의 균형을 제공합니다. HBM은 생산 비용이 훨씬 높고 DDR5보다 가격 프리미엄이..

제1장 새로운 메모리 패러다임의 서막: HBM은 왜 필요했는가고대역폭 메모리(High Bandwidth Memory, HBM)의 등장은 단순한 점진적 기술 개선이 아니었다. 이는 고성능 컴퓨팅(High-Performance Computing, HPC)의 발전을 가로막던 '메모리 장벽(Memory Wall)'을 극복하기 위한 필연적인 아키텍처 혁명이었다. HBM의 탄생 배경을 이해하기 위해서는 기존 메모리 기술인 GDDR(Graphics Double Data Rate)이 직면했던 근본적인 한계를 먼저 살펴봐야 한다.1.1 기존 메모리의 성능 천장: GDDR의 한계고성능 컴퓨팅, 특히 그래픽 처리 및 과학 연산 분야에서는 프로세서가 데이터를 처리하는 속도보다 메모리가 데이터를 공급하는 속도가 뒤처지는 병목 ..

화웨이 AI CloudMatrix 384 - 엔비디아 GB200 NVL72 에 대한 중국의 대답화웨이는 새로운 AI 가속기와 랙 스케일 아키텍처로 큰 반향을 일으키고 있습니다. Ascend 910C를 기반으로 제작된 중국 최신의 가장 강력한 중국내 솔루션인 CloudMatrix 384를 확인해보면 이 솔루션은 GB200 NVL72와 직접 경쟁하며, 일부 측면에서는 엔비디아의 랙 스케일 솔루션보다 더 발전했습니다. 엔지니어링의 강점은 칩 수준뿐 아니라 시스템 수준에서 네트워킹, 광학 및 소프트웨어 layer 의 혁신을 통해 발휘되었습니다. 출처: 화웨이 📌 참고:异构服务器 超节点网络交换机 ..