spedtrder's blog spedtrder's blog

How Oracle Is Winning the AI Compute Market 오라클의 클라우드 인프라 사업은 순조롭게 진행되고 있으며 기대치를 크게 상회하고 있습니다. 모든 시선은 유명 합작법인인 Stargate 와 텍사스 애빌린(Abilene)의 대규모 데이터센터에 쏠려 있습니다. 2024년 9월 멀티 데이터센터 교육 보고서에서는 이 센터를 OpenAI를 위한 GW 규모의 모델 학습 데이터센터 허브로 평가했습니다. 하지만 오라클은 이 대규모 캠퍼스 외에도 수많은 성장 동력을 보유하고 있습니다. 구글지도 링크:https://www.google.com/maps/place/Open+AI+Stargate+I/@32.499716,-99.7962574,3179m/data=!3m1!1e3!4m6!3m5!1s0x8..

H100 vs GB200 NVL72 학습 벤치마크 – 전력, TCO 및 신뢰성 분석, 시간 경과에 따른 소프트웨어 개선 프론티어 모델 학습은 GPU와 AI 시스템을 한계에 몰아넣었고, 비용, 효율성, 전력 소비, TCO 대비 성능, 그리고 안정성이 효과적인 학습 논의의 핵심이 되었습니다. Hopper와 Blackwell의 비교는 엔비디아가 생각하는 것만큼 간단하지 않습니다. 이 보고서에서는 2,000개 이상의 H100 GPU에 대한 벤치마크 실행 결과를 제시하고, Model Flops Utilization(MFU), 총 소유 비용(Total Cost of Ownership / TCO), 그리고 100만 토큰당 학습 비용 데이터를 분석합니다. 또한 에너지 사용량에 대해 논의하고, 학습된 각 토큰에 소비된 ..