spedtrder's blog spedtrder's blog

How Oracle Is Winning the AI Compute Market 오라클의 클라우드 인프라 사업은 순조롭게 진행되고 있으며 기대치를 크게 상회하고 있습니다. 모든 시선은 유명 합작법인인 Stargate 와 텍사스 애빌린(Abilene)의 대규모 데이터센터에 쏠려 있습니다. 2024년 9월 멀티 데이터센터 교육 보고서에서는 이 센터를 OpenAI를 위한 GW 규모의 모델 학습 데이터센터 허브로 평가했습니다. 하지만 오라클은 이 대규모 캠퍼스 외에도 수많은 성장 동력을 보유하고 있습니다. 구글지도 링크:https://www.google.com/maps/place/Open+AI+Stargate+I/@32.499716,-99.7962574,3179m/data=!3m1!1e3!4m6!3m5!1s0x8..

H100 vs GB200 NVL72 학습 벤치마크 – 전력, TCO 및 신뢰성 분석, 시간 경과에 따른 소프트웨어 개선 프론티어 모델 학습은 GPU와 AI 시스템을 한계에 몰아넣었고, 비용, 효율성, 전력 소비, TCO 대비 성능, 그리고 안정성이 효과적인 학습 논의의 핵심이 되었습니다. Hopper와 Blackwell의 비교는 엔비디아가 생각하는 것만큼 간단하지 않습니다. 이 보고서에서는 2,000개 이상의 H100 GPU에 대한 벤치마크 실행 결과를 제시하고, Model Flops Utilization(MFU), 총 소유 비용(Total Cost of Ownership / TCO), 그리고 100만 토큰당 학습 비용 데이터를 분석합니다. 또한 에너지 사용량에 대해 논의하고, 학습된 각 토큰에 소비된 ..

CUTLASS: 엔비디아 GPU를 위한 고성능 행렬 연산 라이브러리CUTLASS(CUDA Templates for Linear Algebra Subroutines)는 엔비디아(NVIDIA)에서 개발한 CUDA C++ 템플릿 라이브러리로, 고성능 행렬 곱셈(GEMM, General Matrix-Matrix Multiplication) 및 관련 연산을 구현하기 위한 추상화된 인터페이스를 제공합니다. 딥러닝과 고성능 컴퓨팅(HPC) 분야에서 핵심적인 역할을 하는 행렬 연산의 성능을 극대화하는 것을 목표로 합니다. CUTLASS는 헤더 전용(header-only) 라이브러리로, 별도의 빌드 과정 없이 애플리케이션에 포함하여 사용할 수 있습니다. 이를 통해 개발자는 엔비디아 GPU의 아키텍처, 특히 텐서 코어(T..

최근 화웨이가 공개한 AI 칩 Ascend 910C와 이를 기반으로 한 CloudMatrix384 시스템에 대한 기술 분석 자료가 공개되었습니다. 엔비디아의 아성에 도전하는 화웨이의 기술력은 과연 어느 수준까지 도달했을까요? Ascend 910C, H100 와 주요 스펙 비교먼저, AI 연산의 핵심인 NPU(신경망 처리 장치) 레벨에서 Ascend 910C의 주요 사양을 살펴보겠습니다. 비교 대상은 현재 AI 칩 시장의 절대 강자, 엔비디아의 H100입니다.항목화웨이 Ascend 910C엔비디아 H100 (비교)최대 연산 처리량 (FP16)752 TFLOPS989 TFLOPS (910C는 H100의 76% 수준)메모리 (HBM)128 GB (HBM2e)80 GB (910C가 160% 더 많음)메모리 대..

2025년 6월 11일, 프랑스 파리에서 열린 NVIDIA GTC 파리(VivaTech 2025와 함께 개최)에서 NVIDIA CEO 젠슨 황(Jensen Huang)이 기조연설을 통해 AI, 양자 컴퓨팅, 로보틱스의 최신 혁신과 비전을 발표했습니다. 이번 키노트는 유럽의 AI 인프라 확장과 산업 혁신에 초점을 맞춘 강렬한 메시지로 가득했습니다.1. AI 인프라의 새 시대: 인텔리전스 팩토리젠슨 황은 AI가 단순한 기술을 넘어 새로운 산업 인프라인 "인텔리전스 인프라"로 자리 잡고 있다고 강조했습니다. 그는 데이터 센터가 더 이상 데이터를 저장하는 곳이 아니라, 토큰(단어, 이미지, 행동 등)을 생성하는 AI 팩토리로 진화하고 있다고 설명했어요. 특히, NVIDIA는 유럽 전역에 AI 컴퓨팅 용량을 2년..