NVIDIA DGX H200

최대급 AI 워크로드를 위한 고성능·고효율 플랫폼

NVIDIA DGX H200

NVIDIA DGX™ H200은 AI 개발부터 배포까지를 하나로 잇는 엔터프라이즈 통합 플랫폼입니다.

NVLink로 연결된 8xH200 Tensor Core GPU, NVSwitch, HBM3e 기반으로 LLM, 챗봇 등 메모리 집약 워크로드에서 더 큰 모델, 더 긴 시퀀스를 빠르게 처리합니다. DGX BasePOD/SuperPOD 레퍼런스와 NVIDIA AI Enterprise로 안정적 운영과 빠른 도입을 지원합니다.

8 GPU

NVIDIA H200 Tensor core

1,128 GB

GPU Memory

32 PFLOPS

FP8 Performance

~10.2 kW

Power Consumption

2 TB

System Memory

NVSwitch

데이터시트 다운로드 제품문의 바로가기

KEY FEATURES

HBM3e 메모리 아키텍처

8× NVIDIA H200 Tensor Core GPU와 5세대 NVLink·NVSwitch, HBMe(141GB/GPU, 총 1.1TB)로 GPU 간 대역폭과 메모리 풀을 넉넉히 확보합니다. 데이터 이동 병목을 줄여 대규모 배치, 긴 컨텍스트 처리에서도 안정적인 처리량을 유지합니다.

메모리 집약 워크로드 최적화

더 큰 모델·더 긴 시퀀스를 빠르게 처리해 LLM 학습·추론, 멀티모달,

추천 시스템 등 메모리 중심 워크로드를 가속화합니다.

호스트 페이징·통신 오버헤드를 최소화해 지연을 낮추고 일관된 응답 시간을 확보합니다.

엔터프라이즈 스케일 확장성

DGX BasePOD™/SuperPOD™ 레퍼런스와 결합해 랙 > 클러스터 단위까지 표준화된 확장을 구현합니다. 전력·냉각·배선 가이드를 따라 초기 구축 리스크를 낮추고, 프로젝트 규모 변화에 유연하게 대응합니다.

지능적이고 효율적인 운영

NVIDIA AI Enterprise와 Mission Control로 프로비저닝·모니터링·업데이트를 자동화하고 운영 복잡도를 낮춥니다. Kubernetes/Slurm 등 기존 스택과 연동해 업타임을 높이고 TCO 절감에 기여합니다.

SPECIFICATION

GPU	8× NVIDIA H200 Tensor Core GPUs
Total GPU Memory	1,128 GB total (141 GB per GPU)
Performance	32 petaFLOPS FP8
NVIDIA NVSwitch™	4×
System Power Usage	~10.2 kW (max)
CPU	Dual Intel® Xeon® Platinum 8480C (112 cores total, 2.0 GHz Base / 3.8 GHz Max Turbo)
System Memory	2 TB
Networking	4× OSFP ports serving 8× single‑port NVIDIA ConnectX‑7 VPI (up to 400 Gb/s InfiniBand/Ethernet)
Management Network	10 GbE onboard NIC (RJ45), 100 GbE optional NIC
Storage	OS: 2× 1.92 TB NVMe M.2 (RAID1) · Internal: 8× 3.84 TB NVMe U.2
Software	NVIDIA AI Enterprise · NVIDIA Base Command / DGX OS (Ubuntu / RHEL support)
Rack Units	10U
Operating Temperature	5–30°C (41–86°F)