제목NVIDIA H100 GPU LLM 트레이닝에서 A100 대비 3배~6배 성능차이 보여2023-05-02 15:35
작성자 Level 10

MosaicML 연구팀은 NVIDIA GPU 클라우드 서비스 제공업체인 CoreWeave와 협력하여 LLM 트레이닝관련 성능에 대하여 

NVIDIA H100 과 A100의 성능을 비교한 후 관련 자료를 공개하였습니다. 


NVIDIA의 최신 H100 GPU가 기존 최상위 제품이였던 A100 GPU 대비 대규모 LLM 트레이닝 에서 3배~6배 이상 더 뛰어난 성능을

보여주었다고 합니다. 



하지만 CoreWeave의 클라우드 서비스 비용을 비교해 보면 H100 GPU 기반의 서비스 가격은 시간당 $4,76 이였으며 A100 GPU 서비스 가격인 시간당 $2.21에 비하여

약 2.2배 더 높았다고 합니다.  


https://www.mosaicml.com/blog/coreweave-nvidia-h100-part-1
 

#H100
댓글
자동등록방지
(자동등록방지 숫자를 입력해 주세요)