: AI 인프라를 위한 유니버설 시스템
NVIDIA DGX A100
AI 유니버설 시스템
- 5petaFLOPS의 AI 성능을 6U 폼 팩터,모든 AI 워크로드에 대해 하나의 플랫폼으로 대체함
데이터센터 확장성
- 최대 양방향 대역폭이 초당 500GB인 Mellanox ConnectX-6 VPI HDR InfiniBand이더넷 네트워크 어댑터 탑재하여 확장 가능한 AI 인프라
가장 빠른 솔루션 구축
- 8개의 A100 GPU와 최대 640GB의 GPU 메모리 통합NVIDIA CUDA-X™ 소프트웨어와 NVIDIA 데이터 센터 솔루션 스택에 최적화되어 있음
AI 인프라를 위한 유니버설 시스템
NVIDIA DGX A100
엔터프라이즈 AI에 최적화된 AI 인프라
AI 데이터센터의 구성요소
4개의 NVIDIA A100 Tensor 코어 GPU, 최첨단 서버급 CPU,
초고속 NVMe 스토리지, 첨단 PCIe Gen4와 함께 원격 관리 포함
- > 총 640GB의 GPU 메모리를 탑재한 NVIDIA A100 GPU 8개GPU당 NVLink 12개 GPU 간 대역폭 600GB/s
- > NVSWITCH 6개양방향 대역폭 4.8TB/s
- > Mellanox ConnectX-6 200GB HDR Card 10개최대 500GB/s의 양방향 대역폭
- > 듀얼 64코어 AMD CPU 및 2TB 시스템 메모리3.2배 더 많은 코어로 가장 집약적인 AI 작업 처리
- > 30TB GEN4 NVME SSD최대 50GB/s의 대역폭
데이터 분석 및 HPC을 위한
가속화 제공- NVIDIA A100 Tensor 코어 GPU
A100 GPU 8개는 56개의 GPU
인스턴스로 구성될- Multi-Instance GPU (MIG)
- 최적화된 소프트웨어 스택
더 빨라진 Training & Inference, 더 좋아진 데이터 분석 능력
더없이 좋아진 AI 성능
훈련
| DLRM 훈련- 대규모 모델에서 AI 교육을 위한 최대 3배 높은 처리량
추론
| RNN-T 추론 : 단일 스트림- AI 추론을 위한
최대 1.25배 높은 처리량
- AI 추론을 위한
데이터 분석
| 빅데이터 분석 벤치마크- CPU 대비
최대 83배 높은 처리량
- CPU 대비
호환 가능 모듈
NVIDIA DGX A100 640GB | NVIDIA DGX A100 320GB | |
---|---|---|
GPUs | 8x NVIDIA A100 80 GB GPUs | 8x NVIDIA A100 40 GB GPUs |
GPU Memory | 640 GB total | 320 GB total |
Performance | 5 petaFLOPS AI 10 petaOPS INT8 | |
NVIDIA NVSwitches | 6 | |
System Power Usage | 6.5 kW max | |
CPU | Dual AMD Rome 7742, 128 cores total, 2.25 GHz (base), 3.4 GHz (max boost) | |
System Memory | 2 TB | 1 TB |
Networking | 8x Single Port Mellanox ConnectX-6 VPI 200Gb/s HDR InfiniBand 2x Dual-Port Mellanox ConnectX-6 VPI 10/25/50/100/200 Gb/s Ethernet | 8x Single Port Mellanox ConnectX-6 VPI 200Gb/s HDR InfiniBand 1x Dual-Port Mellanox ConnectX-6 VPI 10/25/50/100/200 Gb/s Ethernet |
Storage | OS: 2x 1.92 TB M.2 NVME drives Internal Storage: 30 TB (8x 3.84 TB) U.2 NVMe drives | OS: 2x 1.92TB M.2 NVME drives Internal Storage: 15 TB (4x 3.84 TB) U.2 NVMe drives |
Software | Ubuntu Linux Base RedHat Enterprise Linux, CentOS Linux | |
System Weight | 271.5 lbs (123.16 kgs) max | |
Packaged System Weight | 359.7 lbs (163.16 kgs) max | |
System Dimensions | Height: 10.4 in (264.0 mm) Width: 19.0 in (482.3 mm) max Length: 35.3 in (897.1 mm) max | |
Operating Temperature Range | 5–30 ºC (41–86 ºF) |