반도체·인프라

AI 는 왜 전기를 그렇게 많이 쓰는가

AI 가속기는 랙당 전력이 기존 서버보다 훨씬 크고, 그 전력을 계속 공급하고 식히고 지불해야 한다. 대형 모델 학습은 한 번의 스파이크지만 수백만 사용자에게 서비스하는 일은 영구적인 부하이며, 배포된 모델의 생애 에너지는 추론이 지배한다.