구글은 자체 클라우드 서비스 내부 분석을 통해서 AI 추론 작업의 경우는 GPU가 아닌 CPU가 주도하고 있다고 밝혔습니다. 

AI는 학습과 추론의 2가지 영역으로 분리되는데 학습의 경우는 GPU가속기가 병렬로 작동해야 하기 때문에 GPU가 주도하고 

있으며 모델이 최적화된 경우는 CPU를 AI 추론으로 선택하는 고객들이 있다고 합니다. 

이러한 CPU에 대한 선택은 고성능 GPU 나 커스텀 AI 가속기 대비하여 비용과 가용성 측면에서 CPU가 유리한 점이 있기 때문이라고 합니다. 

CPU의 경우 실시간 요청에 대한 더 낮은 대기 시간을 제공할 수 있는 경우가 많아 1초 미만의 응답이 필요한 온라인 추천과 

같은 어플리케이션에서는 CPU 추론이 더 선호된다는 것입니다. 

https://www.techpowerup.com/319880/google-cpus-are-leading-ai-inference-workloads-not-gpus