PCIe vs NVLink(Nvidia 자체 기술) / NVLink-C2C / RDMA / RoCE 등

PCIe(Peripheral Component Interconnect Express) : 컴퓨터 내부에서 CPU, 메모리, 그래픽카드, SSD, 네트워크 카드 같은 장치들을 빠르게 연결하기 위한 고속 인터페이스 규격

핵심 특징

• 고속 전송: 기존 PCI, AGP보다 훨씬 빠른 데이터 전송 속도를 제공. (버전이 올라갈수록 속도 증가: PCIe 3.0 → 8GT/s, PCIe 4.0 → 16GT/s, PCIe 5.0 → 32GT/s 등)
• 레인(Lane) 구조: 데이터 통로를 1개(x1), 4개(x4), 8개(x8), 16개(x16)처럼 병렬로 묶어서 사용 가능 → 그래픽카드는 보통 x16, NVMe SSD는 x4 사용.
• 호환성: 물리적으로 같은 슬롯이면 상위/하위 버전 간 호환 가능(다만 속도는 낮은 쪽에 맞춰짐).
• 범용성: GPU, NVMe SSD, RAID 카드, 네트워크 카드, 캡처 카드 등 다양한 하드웨어가 PCIe 슬롯을 통해 연결됨.

간단히 말하면

• 도로 비유: PCIe는 “고속도로” 같은 역할을 하고, Lane(x1, x4, x8, x16)은 차선 수예요. 차선이 많을수록 더 많은 데이터를 동시에 오갈 수 있음.
• 세대 차이: PCIe 3.0, 4.0, 5.0, 6.0처럼 세대가 올라갈수록 도로 자체가 넓어져서 같은 차선 수라도 속도가 배로 빨라져요.

 

NVLink : NVLink는 NVIDIA가 만든 GPU 간 초고속 인터커넥트(Interconnect) 기술이에요.
PCIe보다 훨씬 빠른 속도로 GPU끼리 데이터를 주고받을 수 있도록 설계된 “전용 통신 다리”라고 보면 됩니다.

---

주요 특징

• 초고속 대역폭
  • PCIe 4.0 x16: 약 32GB/s
  • NVLink(3세대 기준, A100 GPU 사용 시): GPU당 최대 600GB/s 이상
    → GPU끼리 직접 연결되기 때문에, PCIe 대비 훨씬 빠른 데이터 교환이 가능해요.
• 직접 연결 (Peer-to-Peer)
  CPU를 거치지 않고 GPU들끼리 직접 데이터를 교환할 수 있어요. → 딥러닝, HPC(High Performance Computing) 같은 연산에서 큰 장점.
• 확장성
  여러 GPU를 하나의 거대한 메모리 풀처럼 사용할 수 있게 해 줌. → 대규모 모델 학습, 시뮬레이션, AI 추론 등에 적합.
• NVSwitch 지원
  GPU가 많아지면 NVLink만으로는 연결이 복잡해져서, NVSwitch라는 스위치 칩을 통해 수십~수백 개의 GPU를 전부 연결 가능.
  (예: NVIDIA DGX, HGX 서버에 쓰임)

---

정리 (비유)

• PCIe: GPU와 CPU, GPU와 SSD 같은 장치들이 연결되는 일반 “고속도로”
• NVLink: GPU들끼리만 오가는 “초고속 전용도로”
• NVSwitch: GPU 전용 고속도로의 “인터체인지/교차로”

 

 

1. RDMA (Remote Direct Memory Access)

• 개념: 네트워크를 통해 원격 서버의 메모리에 CPU 개입 없이 직접 읽고 쓰는 기술.
• 특징:
  • 전송 시 OS 커널을 거치지 않아 낮은 지연시간 (low latency) 제공
  • CPU 사용률이 크게 줄어들어 애플리케이션 성능 향상
  • HPC, AI/ML, DB 클러스터, 스토리지 시스템 등에서 사용
• 주요 장점:
  • 낮은 지연시간
  • 높은 대역폭 활용
  • 낮은 CPU 오버헤드

---

2. RoCE (RDMA over Converged Ethernet)

• 개념: 이더넷 네트워크에서 RDMA 기능을 구현하는 표준.
  • 원래 RDMA는 인피니밴드(InfiniBand)에서 많이 사용됐는데, RoCE는 이더넷 환경에서도 RDMA를 가능하게 함.
• 버전:
  • RoCE v1: Layer 2에서 동작 → 같은 브로드캐스트 도메인 내에서만 가능
  • RoCE v2 (Routable RoCE): UDP/IP 기반 Layer 3 지원 → 라우팅 가능, 데이터센터 간 연결 가능
• 요구 조건:
  • 낮은 지터와 손실 없는 전송을 위해 DCB(Data Center Bridging), PFC(Priority Flow Control) 같은 이더넷 QoS 기술 필요
• 활용 사례:
  • 클라우드 데이터센터 (예: Azure, AWS 등에서 HPC 워크로드)
  • 스토리지 프로토콜 (NVMe over Fabrics with RoCE)
  • 대규모 AI/ML 클러스터 통신

---

3. 비교

구분RDMARoCE

기본 개념	원격 메모리에 CPU 개입 없이 직접 접근	RDMA를 이더넷 위에서 구현
기반 네트워크	인피니밴드(주로) / 전용 RDMA 지원 HW	이더넷 (L2: RoCEv1, L3: RoCEv2)
지연시간	매우 낮음	이더넷 최적화 시 낮음
확장성	인피니밴드 스위치 필요 → 상대적으로 제한적	기존 이더넷 인프라 활용 가능, 대규모 클라우드 친화적
사용처	HPC, 금융거래, 고속 DB	클라우드, AI/ML, 스토리지 (NVMe-oF)