NVIDIA DGX A100 : MDS테크

: AI 인프라를 위한 유니버설 시스템

NVIDIA DGX A100



  • AI 유니버설 시스템

    • 5petaFLOPS의 AI 성능을 6U 폼 팩터,모든 AI 워크로드에 대해 하나의 플랫폼으로 대체함

  • 데이터센터 확장성

    • 최대 양방향 대역폭이 초당 500GB인 Mellanox ConnectX-6 VPI HDR InfiniBand이더넷 네트워크 어댑터 탑재하여 확장 가능한 AI 인프라

  • 가장 빠른 솔루션 구축

    • 8개의 A100 GPU와 최대 640GB의 GPU 메모리 통합NVIDIA CUDA-X™ 소프트웨어와 NVIDIA 데이터 센터 솔루션 스택에 최적화되어 있음

AI 인프라를 위한 유니버설 시스템
NVIDIA DGX A100



엔터프라이즈 AI에 최적화된 AI 인프라
AI 데이터센터의 구성요소



4개의 NVIDIA A100 Tensor 코어 GPU, 최첨단 서버급 CPU,
초고속 NVMe 스토리지, 첨단 PCIe Gen4와 함께 원격 관리 포함

DATASHEET 다운로드
  • > 총 640GB의 GPU 메모리를 탑재한 NVIDIA A100 GPU 8개GPU당 NVLink 12개 GPU 간 대역폭 600GB/s
  • > NVSWITCH 6개양방향 대역폭 4.8TB/s
  • > Mellanox ConnectX-6 200GB HDR Card 10개최대 500GB/s의 양방향 대역폭
  • > 듀얼 64코어 AMD CPU 및 2TB 시스템 메모리3.2배 더 많은 코어로 가장 집약적인 AI 작업 처리
  • > 30TB GEN4 NVME SSD최대 50GB/s의 대역폭
  • 데이터 분석 및 HPC을 위한
    가속화 제공

    • NVIDIA A100 Tensor 코어 GPU
  • A100 GPU 8개는 56개의 GPU
    인스턴스로 구성될

    • Multi-Instance GPU (MIG)
    • 최적화된 소프트웨어 스택

더 빨라진 Training & Inference, 더 좋아진 데이터 분석 능력
더없이 좋아진 AI 성능





  • 훈련
    | DLRM 훈련

    • 대규모 모델에서 AI 교육을 위한 최대 3배 높은 처리량
  • 추론
    | RNN-T 추론 : 단일 스트림

    • AI 추론을 위한
      최대 1.25배 높은 처리량
  • 데이터 분석
    | 빅데이터 분석 벤치마크

    • CPU 대비
      최대 83배 높은 처리량

호환 가능 모듈

NVIDIA DGX A100
640GB
NVIDIA DGX A100
320GB
GPUs

8x NVIDIA A100 80 GB GPUs

8x NVIDIA A100 40 GB GPUs

GPU Memory

640 GB total

320 GB total

Performance

5 petaFLOPS AI
10 petaOPS INT8

NVIDIA NVSwitches

6

System Power Usage

6.5 kW max

CPU

Dual AMD Rome 7742, 128 cores total,
2.25 GHz (base), 3.4 GHz (max boost)

System Memory

2 TB

1 TB

Networking

8x Single Port Mellanox ConnectX-6 VPI
200Gb/s HDR InfiniBand
2x Dual-Port Mellanox ConnectX-6 VPI
10/25/50/100/200 Gb/s Ethernet

8x Single Port Mellanox ConnectX-6 VPI
200Gb/s HDR InfiniBand
1x Dual-Port Mellanox ConnectX-6 VPI 10/25/50/100/200 Gb/s Ethernet

Storage

OS: 2x 1.92 TB M.2
NVME drives Internal Storage:
30 TB (8x 3.84 TB)
U.2 NVMe drives

OS: 2x 1.92TB M.2
 NVME drives Internal Storage:
15 TB (4x 3.84 TB)
U.2 NVMe drives

Software

Ubuntu Linux Base
RedHat Enterprise Linux, CentOS Linux

System Weight

271.5 lbs (123.16 kgs) max

Packaged System Weight

359.7 lbs (163.16 kgs) max

System Dimensions

Height: 10.4 in (264.0 mm)
Width: 19.0 in (482.3 mm) max
Length: 35.3 in (897.1 mm) max

Operating Temperature Range

5–30 ºC (41–86 ºF)

제 품문 의
top