spedtrder's blog spedtrder's blog

H100 vs GB200 NVL72 학습 벤치마크 – 전력, TCO 및 신뢰성 분석, 시간 경과에 따른 소프트웨어 개선 프론티어 모델 학습은 GPU와 AI 시스템을 한계에 몰아넣었고, 비용, 효율성, 전력 소비, TCO 대비 성능, 그리고 안정성이 효과적인 학습 논의의 핵심이 되었습니다. Hopper와 Blackwell의 비교는 엔비디아가 생각하는 것만큼 간단하지 않습니다. 이 보고서에서는 2,000개 이상의 H100 GPU에 대한 벤치마크 실행 결과를 제시하고, Model Flops Utilization(MFU), 총 소유 비용(Total Cost of Ownership / TCO), 그리고 100만 토큰당 학습 비용 데이터를 분석합니다. 또한 에너지 사용량에 대해 논의하고, 학습된 각 토큰에 소비된 ..

작년 말 AI 확장 법칙(AI Scaling Laws) 기사 에서 , 여러 AI 확장 법칙들이 어떻게 AI 산업을 지속적으로 발전시켜 무어의 법칙을 뛰어넘는 모델 성능 향상과 그에 상응하는 단위 토큰 비용의 빠른 감소를 가능하게 했는지에 대해 논의했습니다. 이러한 확장 법칙은 학습 및 추론 최적화와 혁신에 의해 주도되지만, 무어의 법칙을 뛰어넘는 컴퓨팅 성능의 발전 또한 중요한 역할을 했습니다.이러한 맥락에서, AI 스케일링 법칙(AI Scaling Laws) 기사에서는 수십 년간 이어져 온 컴퓨팅 스케일링에 대한 논쟁을 재조명하며, 2000년대 후반 데나드 스케일링(Dennard Scaling)의 종말과 2010년대 후반 트랜지스터당 비용 감소라는 고전적인 무어의 법칙의 종말을 다뤘습니다. 그럼에도 불..

최근 화웨이가 공개한 AI 칩 Ascend 910C와 이를 기반으로 한 CloudMatrix384 시스템에 대한 기술 분석 자료가 공개되었습니다. 엔비디아의 아성에 도전하는 화웨이의 기술력은 과연 어느 수준까지 도달했을까요? Ascend 910C, H100 와 주요 스펙 비교먼저, AI 연산의 핵심인 NPU(신경망 처리 장치) 레벨에서 Ascend 910C의 주요 사양을 살펴보겠습니다. 비교 대상은 현재 AI 칩 시장의 절대 강자, 엔비디아의 H100입니다.항목화웨이 Ascend 910C엔비디아 H100 (비교)최대 연산 처리량 (FP16)752 TFLOPS989 TFLOPS (910C는 H100의 76% 수준)메모리 (HBM)128 GB (HBM2e)80 GB (910C가 160% 더 많음)메모리 대..