MS는 ChatGPT 서비스 제공을 위한 최신 AI 인프라를 자사의 블로그를 통해서 소개했습니다. 

현재 사용되고 있는 NVIDIA A100 GPU를 기반으로 하는 ND A100 V4 VM 보다 더욱 고속화된 NVIDIA H100 GPU를 기반으로 하는

ND H100 V5 VM을 출시하며 주요한 특징은 다음과 같다고 합니다.  

차세대 NVSwitch 및 NVLink 4.0을 통해 상호 연결된 8x NVIDIA H100 Tensor Core GPU

비차단 팻트리 네트워크에서 VM당 3.2Tb/s의 GPU당 400Gb/s NVIDIA Quantum-2 CX7 InfiniBand

NVSwitch 및 NVLink 4.0(각 VM 내의 8개 로컬 GPU 간 3.6TB/s 이분 대역폭 포함)

4세대 Intel Xeon 확장 가능 프로세서

GPU당 64GB/s 대역폭으로 PCIE Gen5 호스트에서 GPU로 상호 연결

4800MHz DDR5 DIMM 채널 16개

GPU에서 보다 강력한 NVIDIA H100을 적용했을 뿐만 아니라 새롭게 출시된 최초의 DDR5 지원 서버용 CPU인 사파이어 래피즈

솔루션을 적용하여 현재 가장 강력한 인프라를 ChatGPT에 적용할 것이라는 점에서

MS가 관련 AI 인프라 솔루션에 얼마나 많은 관심을 가지고 집중 투자하고 있는지 확인할 수 있겠습니다. 

관련한 MS 블로그 내용은 하단 링크에서 확인하실 수 있습니다. 

https://azure.microsoft.com/en-us/blog/azure-previews-powerful-and-scalable-virtual-machine-to-help-customers-accelerate-ai/