spedtrder's blog spedtrder's blog

본 프리젠테이션은 구글 NotebookLM 으로 제작되었습니다. 참조원문:[1] https://x.com/SemiAnalysis_/status/1994399887719645532https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the[2] https://www.patreon.com/posts/144767388

Microsoft's AI Strategy Deconstructed - From Energy to Tokens (Microsoft의 AI 전략 분석 - 에너지에서 토큰까지)"The Big Pause", AI 토큰 팩토리 경제 스택, OpenAI, Neocloud 임대, GitHub Copilot, MAI 및 MaiaMicrosoft는 2023년과 2024년 AI 분야 선두를 달렸지만, 1년 전 완전히 방향을 바꿨습니다. 데이터센터 건설을 크게 중단하고 OpenAI에 대한 투자도 늦췄습니다. https://spedtrder.tistory.com/21 마이크로소프트 데이터센터 동결 과 전략의 변화 (25.5.1)마이크로소프트 데이터센터 동결 - 1.5GW 자체 건설 속도 둔화 및 리스 취소 에 대한 오해지..

AWS Trainium: AI 군비 경쟁 속 아마존 맞춤형 실리콘 전략 심층 분석1. 요약본 보고서는 Amazon Web Services(AWS)의 맞춤형 AI 훈련용 실리콘인 Trainium 칩에 대한 다차원적 분석을 제공한다. Trainium은 단순한 비용 절감 수단을 넘어, AI 시대의 클라우드 인프라 시장에서 수직적 통합과 시장 리더십을 확보하려는 AWS의 야심 찬 전략의 핵심 기둥으로 평가된다. 보고서의 핵심 분석 결과는 다음과 같다. 첫째, Trainium의 목적 기반 아키텍처는 대규모 모델 훈련 워크로드에서 범용 GPU 대비 상당한 가격 대비 성능 우위를 제공한다. 이는 AWS 내부 벤치마크뿐만 아니라 Anthropic, Databricks와 같은 주요 고객의 실제 도입 사례를 통해 검증되었..

Scaling the Memory Wall: The Rise and Roadmap of HBMHBM에 대한 간략한 개요AI 모델의 복잡성이 증가함에 따라 AI 시스템은 더 높은 용량, 더 낮은 지연 시간, 더 높은 대역폭, 그리고 향상된 에너지 효율을 갖춘 메모리를 필요로 합니다. 메모리 종류에 따라 장단점이 있습니다. SRAM은 매우 빠르지만 밀도가 낮습니다. DDR DRAM은 밀도가 높고 저렴하지만 대역폭이 부족합니다. 현재 가장 널리 사용되는 메모리는 용량과 대역폭의 균형을 맞춘 온칩 HBM입니다. HBM은 수직 적층 DRAM 칩과 초광대역 데이터 경로를 결합하여 AI 워크로드에 최적화된 대역폭, 밀도, 에너지 소비의 균형을 제공합니다. HBM은 생산 비용이 훨씬 높고 DDR5보다 가격 프리미엄이..

DeepSeek Debrief: >128 Days Later중국 LLM DeepSeek R1 출시가 주식 시장과 서구 AI 세계를 뒤흔든 지 150여 일이 지났습니다. R1은 OpenAI의 추론 성능에 필적하는 최초의 공개 모델이었습니다. 그러나 DeepSeek(그리고 중국)이 입력당 0.55달러, 출력 당 2.19달러라는 매우 낮은 가격을 앞세워 AI 모델을 상품화할 것이라는 우려에 가려 이러한 우려는 상당 부분 희석되었습니다 . 이로 인해 당시 SOTA 모델인 o1의 출력 토큰 가격이 90% 이상 하락했습니다. 이후 추론 모델 가격은 크게 하락했으며, OpenAI는 최근 자사 주력 모델 가격을 80% 인하했습니다. DeepSeek이 출시 이후 RL 확장을 계속하면서 R1도 업데이트되었습니다. 이를 ..