spedtrder's blog spedtrder's blog

CUTLASS: 엔비디아 GPU를 위한 고성능 행렬 연산 라이브러리CUTLASS(CUDA Templates for Linear Algebra Subroutines)는 엔비디아(NVIDIA)에서 개발한 CUDA C++ 템플릿 라이브러리로, 고성능 행렬 곱셈(GEMM, General Matrix-Matrix Multiplication) 및 관련 연산을 구현하기 위한 추상화된 인터페이스를 제공합니다. 딥러닝과 고성능 컴퓨팅(HPC) 분야에서 핵심적인 역할을 하는 행렬 연산의 성능을 극대화하는 것을 목표로 합니다. CUTLASS는 헤더 전용(header-only) 라이브러리로, 별도의 빌드 과정 없이 애플리케이션에 포함하여 사용할 수 있습니다. 이를 통해 개발자는 엔비디아 GPU의 아키텍처, 특히 텐서 코어(T..

작년 말 AI 확장 법칙(AI Scaling Laws) 기사 에서 , 여러 AI 확장 법칙들이 어떻게 AI 산업을 지속적으로 발전시켜 무어의 법칙을 뛰어넘는 모델 성능 향상과 그에 상응하는 단위 토큰 비용의 빠른 감소를 가능하게 했는지에 대해 논의했습니다. 이러한 확장 법칙은 학습 및 추론 최적화와 혁신에 의해 주도되지만, 무어의 법칙을 뛰어넘는 컴퓨팅 성능의 발전 또한 중요한 역할을 했습니다.이러한 맥락에서, AI 스케일링 법칙(AI Scaling Laws) 기사에서는 수십 년간 이어져 온 컴퓨팅 스케일링에 대한 논쟁을 재조명하며, 2000년대 후반 데나드 스케일링(Dennard Scaling)의 종말과 2010년대 후반 트랜지스터당 비용 감소라는 고전적인 무어의 법칙의 종말을 다뤘습니다. 그럼에도 불..