Ba kiểu mạng trong Data Center

[dangquangminh]

Ba “hệ sinh thái mạng” chính trong Data Center hiện đại cho AI.


Nếu nhìn theo góc độ framing (đóng gói dữ liệu) và encoding (mã hóa tín hiệu). Đây là cách rất hay để hiểu vì sao trong data center không chỉ có Ethernet.

1. Ethernet – “ông vua phổ thông” của hạ tầng Data Center


Ethernet là công nghệ quen thuộc nhất với dân network vì nó bám theo mô hình OSI cổ điển. Từ Layer 1 (Physical) cho tới Layer 7 (Application), mọi thứ đều rất chuẩn hóa và phổ biến. Trong Data Center, Ethernet chủ yếu phục vụ cho traffic giữa server server, giữa VM VM, giữa Container container, hoặc từ User application. Các loại lưu lượng này còn được gọi là lưu lượng East-West traffic. Điểm đáng chú ý là Ethernet có thêm các cơ chế như:
PFC (Priority Flow Control). Đây là mở rộng của chuân Ethernet để giảm mất gói packet loss trong môi trường yêu cầu low latency hoặc storage traffic như AI.
Pause Frames trong Ethernet
Tính năng này cho phép “tạm dừng” traffic khi buffer đầy, thay vì drop packet. Vấn đề truyền thống của Ethernet là nó vốn thiết kế theo kiểu best-effort. Nghĩa là mạng của chúng ta sẽ cố gắng chuyển gói tin packet tốt nhất có thể, nhưng mất gói là chuyện bình thường (Best effort mà - Cố gắng hết sức). Chính vì vậy mới xuất hiện các cải tiến như Data Center Bridging (DCB), RoCE hay Lossless Ethernet...

2. Fibre Channel – thế giới storage truyền thống


Nếu Ethernet là mạng IP phổ thông, thì Fibre Channel là “mạng storage chuyên dụng”. Nó có stack riêng:

• FC-0 → Physical

• FC-1 → Encode / Decode

• FC-2 → Framing + Signaling

• FC-3 → Services

• FC-4 → Mapping upper protocol

Ví dụ mà chúng ta đã biết qua như:

• SCSI over Fibre Channel

• NVMe over Fibre Channel

Điểm khác biệt lớn Fibre Channel không chơi kiểu best-effort như Ethernet truyền thống. Thay vào đó nó dùng Credit-based flow control. TRong cơ chế này, thiết bị chỉ gửi frame khi biết đầu bên kia còn bộ đệm buffer (cách này giống như RTS/ CTS trong modem cổ xưa...). Nghĩa là "Tôi chỉ gửi nếu anh xác nhận còn chỗ chứa."
Lúc này, gần như không packet loss, độ trễ latency ổn định, rất phù hợp cho các lưu lượng của storage traffic. Ngoài ra, các khái niệm như Buffer-to-buffer credits, R_RDY (Receiver Ready) chính là nền tảng của Fibre Channel SAN. Nhiều enterprise vẫn dùng FC SAN cho các ứng dụng mission-critical database, mainframe, storage array loại lớn....
3. InfiniBand – thế giới HPC và AI
Nếu Fibre Channel dành cho storage enterprise, thì InfiniBand là một loại quái vật dành cho các công nghệ như HPC, supercomputer, AI cluster, GPU fabric. Stack của nó không đi theo OSI chuẩn. Hình cho thấy các thành phần bao gồm:

• Physical

• Link

• Network

• Transport

• Upper Layers

Và nổi bật nhất là RDMA Verbs. Đây là chìa khóa. Công nghệ RDMA (Remote Direct Memory Access - đã nhiều lần trình bày trong group này) cho phép máy A đọc/ghi trực tiếp vào memory của máy B mà gần như bỏ qua CPU. Lợi ích của RDMA là độ trễ latency cực thấp, throughput cực cao, CPU overhead thấp. Rất phù hợp cho lưu lượng AI. Đây là lý do NVIDIA DGX, AI factory, training cluster dùng InfiniBand rất nhiều.
4. So sánh bản chất của 3 công nghệ
Ethernet: best effort, linh hoạt, phổ thông, scale lớn.
Fibre Channel: lossless, deterministic, storage-first.
InfiniBand: ultra-low latency, HPC-first, AI-first.
5. Xu hướng hiện đại: Ethernet đang “xâm lấn” lãnh địa của hai bên còn lại
Ngày xưa thì Ethernet dùng cho general networking, Fibre Channel dùng cho storage, còn InfiniBand → HPC. Ngày nay ranh giới mờ dần. Ví dụ: RoCEv2 RDMA chạy trên Ethernet. Điều này dẫn đến Ethernet bắt đầu cạnh tranh với InfiniBand.
NVMe/TCP là storage tốc độ cao chạy trên Ethernet. => Ethernet cạnh tranh với Fibre Channel.
Điều này lý giải vì sao trong AI Data Center hiện đại, nhiều nơi chọn:

• 400G Ethernet

• 800G Ethernet

• RoCE fabric

• VXLAN EVPN fabric

thay vì InfiniBand thuần túy.

Góc nhìn thực tế


Nếu bạn là network engineer truyền thống, Data Center hiện đại không còn chỉ là VLAN + STP + OSPF nữa. Bạn sẽ phải tìm hiểu thêm các khái niệm như Ethernet lossless, DCB, PFC, ECN, RDMA, RoCE, NVMe-oF, AI fabric...AI đang kéo networking sang một thế giới mới: network as a compute fabric.