Tweet
Đây là một sơ đồ rất thực tế vì nó cho thấy cách các hãng như Cisco và NVIDIA khuyến nghị triển khai AI Cluster quy mô nhỏ và vừa theo NVIDIA Enterprise Reference Architecture (ERA). Thay vì chỉ tập trung vào GPU, kiến trúc này chia toàn bộ hệ thống thành nhiều lớp mạng riêng biệt để tối ưu hiệu năng, khả năng mở rộng và quản trị.
AI Cluster nhỏ cũng cần kiến trúc đúng ngay từ đầu
Nhiều người nghĩ rằng chỉ các AI Factory với hàng nghìn GPU mới cần thiết kế mạng phức tạp. Thực tế, ngay cả một cụm từ 96 đến 128 GPU cũng đã được NVIDIA khuyến nghị triển khai theo một kiến trúc chuẩn.
Sơ đồ minh họa hai mô hình phổ biến:
Điểm quan trọng là cả hai đều tuân theo cùng một nguyên tắc thiết kế, giúp doanh nghiệp dễ dàng mở rộng mà không phải thay đổi toàn bộ kiến trúc.
Scalable Unit (SU) – Khối xây dựng của AI Cluster
Khái niệm quan trọng nhất trong hình là Scalable Unit (SU).
Một SU là một nhóm máy chủ GPU được thiết kế như một "khối Lego" của AI Data Center.
Theo sơ đồ:
NVIDIA coi SU là đơn vị triển khai cơ bản. Khi cần mở rộng từ 32 GPU lên 64, 96 hay 128 GPU, doanh nghiệp chỉ cần bổ sung thêm các SU mới thay vì thiết kế lại toàn bộ cụm.
Cách tiếp cận này giúp việc mở rộng trở nên đơn giản và nhất quán.
Ba mạng độc lập trong AI Cluster
Một điểm rất đáng chú ý là AI Cluster không chỉ có một mạng duy nhất. Hình minh họa ba hệ thống mạng với vai trò hoàn toàn khác nhau.
1. Management Network
Đây là mạng dành cho quản trị.
Management Network được sử dụng để:
Lưu lượng trên mạng này khá nhỏ nhưng yêu cầu tính ổn định và bảo mật cao.
2. Front-End Network
Front-End Network là nơi người dùng và ứng dụng AI kết nối vào cụm GPU.
Lưu lượng trên mạng này bao gồm:
Có thể xem đây là "cổng vào" của toàn bộ AI Cluster.
3. Storage Network
Training AI tiêu thụ lượng dữ liệu khổng lồ.
Dataset có thể lên tới hàng chục hoặc hàng trăm terabyte.
Storage Network kết nối GPU với:
Trong sơ đồ, Storage sử dụng các liên kết 800 GbE, cho thấy yêu cầu rất cao về băng thông để tránh việc GPU phải chờ dữ liệu từ hệ thống lưu trữ.
Inter-GPU Network – Trái tim của AI Training
Ở mô hình 128 GPU xuất hiện thêm một thành phần rất quan trọng:
Inter-GPU Network
Đây chính là Backend AI Fabric.
Khác với Front-End Network, Inter-GPU Network chỉ phục vụ việc trao đổi dữ liệu giữa các GPU.
Các lưu lượng điển hình gồm:
Đây là nơi yêu cầu:
Trong cụm 96 GPU nhỏ hơn, việc trao đổi giữa các GPU có thể được đáp ứng bằng cặp switch hiện có. Khi mở rộng lên 128 GPU, lưu lượng giữa các SU tăng lên đáng kể nên kiến trúc bổ sung một lớp Inter-GPU Network chuyên biệt để duy trì hiệu năng khi các GPU đồng bộ dữ liệu trên quy mô lớn.
Vì sao cụm 128 GPU cần thêm mạng Backend riêng?
Ở cụm 96 GPU:
Khi mở rộng lên 128 GPU:
Nếu vẫn dùng chung hạ tầng mạng, lưu lượng Front-End và Backend sẽ cạnh tranh tài nguyên, dễ tạo ra điểm nghẽn. Vì vậy, NVIDIA khuyến nghị tách riêng một Inter-GPU Network chuyên dụng để đảm bảo GPU luôn có đường truyền tốc độ cao và độ trễ thấp cho các phép đồng bộ.
Vì sao sử dụng liên kết 800 GbE?
Một điểm nổi bật của sơ đồ là các kết nối 800 GbE.
Đây là xu hướng của các AI Cluster thế hệ mới.
Lý do rất đơn giản:
Một GPU NVIDIA H100 hoặc B200 có thể xử lý hàng nghìn tỷ phép tính mỗi giây. Nếu mạng chỉ cung cấp vài chục gigabit mỗi giây, GPU sẽ nhanh chóng rơi vào trạng thái chờ dữ liệu và không thể khai thác hết năng lực tính toán.
Băng thông 800 GbE giúp:
Kiến trúc hướng đến khả năng mở rộng
Điểm hay nhất của NVIDIA ERA là không thiết kế cho một kích thước cố định.
Doanh nghiệp có thể bắt đầu với:
Sau đó mở rộng lên:
Xa hơn nữa, nhiều SU có thể được kết nối thông qua các lớp Spine–Leaf để tạo thành các AI Cluster hàng trăm hoặc hàng nghìn GPU mà vẫn giữ nguyên nguyên tắc thiết kế ban đầu. Đây là lý do kiến trúc này được gọi là Scalable Unit – mỗi SU là một "khối xây dựng" có thể lắp ghép linh hoạt để tăng quy mô mà không cần thay đổi nền tảng. Kết luận
Sơ đồ cho thấy một AI Cluster hiện đại không chỉ đơn thuần là tập hợp các máy chủ GPU, mà là một hệ thống được phân tách thành nhiều lớp mạng với chức năng riêng: Management Network phục vụ quản trị, Front-End Network tiếp nhận và phân phối yêu cầu từ người dùng, Storage Network cung cấp dữ liệu tốc độ cao, và Inter-GPU Network đảm nhận việc đồng bộ dữ liệu giữa các GPU.
Kiến trúc Scalable Unit (SU) của NVIDIA giúp doanh nghiệp triển khai từ vài chục đến hàng trăm GPU theo cách nhất quán và dễ mở rộng. Kết hợp với mạng Ethernet 800 GbE, RoCEv2 và AI Fabric chuyên dụng, đây đang là mô hình tham chiếu được nhiều nhà cung cấp như Cisco, NVIDIA và các đối tác hạ tầng AI áp dụng để xây dựng các AI Data Center hiện đại.
AI Cluster nhỏ cũng cần kiến trúc đúng ngay từ đầu
Nhiều người nghĩ rằng chỉ các AI Factory với hàng nghìn GPU mới cần thiết kế mạng phức tạp. Thực tế, ngay cả một cụm từ 96 đến 128 GPU cũng đã được NVIDIA khuyến nghị triển khai theo một kiến trúc chuẩn.
Sơ đồ minh họa hai mô hình phổ biến:
- Cluster tối đa 12 node (96 GPU).
- Cluster tối đa 16 node (128 GPU).
Điểm quan trọng là cả hai đều tuân theo cùng một nguyên tắc thiết kế, giúp doanh nghiệp dễ dàng mở rộng mà không phải thay đổi toàn bộ kiến trúc.
Scalable Unit (SU) – Khối xây dựng của AI Cluster
Khái niệm quan trọng nhất trong hình là Scalable Unit (SU).
Một SU là một nhóm máy chủ GPU được thiết kế như một "khối Lego" của AI Data Center.
Theo sơ đồ:
- Mỗi SU gồm 4 máy chủ UCS.
- Mỗi máy chủ có 8 GPU.
- Tổng cộng một SU có 32 GPU.
NVIDIA coi SU là đơn vị triển khai cơ bản. Khi cần mở rộng từ 32 GPU lên 64, 96 hay 128 GPU, doanh nghiệp chỉ cần bổ sung thêm các SU mới thay vì thiết kế lại toàn bộ cụm.
Cách tiếp cận này giúp việc mở rộng trở nên đơn giản và nhất quán.
Ba mạng độc lập trong AI Cluster
Một điểm rất đáng chú ý là AI Cluster không chỉ có một mạng duy nhất. Hình minh họa ba hệ thống mạng với vai trò hoàn toàn khác nhau.
1. Management Network
Đây là mạng dành cho quản trị.
Management Network được sử dụng để:
- Quản lý server.
- Truy cập BMC/IPMI.
- Điều khiển switch.
- Triển khai hệ điều hành.
- Giám sát phần cứng.
Lưu lượng trên mạng này khá nhỏ nhưng yêu cầu tính ổn định và bảo mật cao.
2. Front-End Network
Front-End Network là nơi người dùng và ứng dụng AI kết nối vào cụm GPU.
Lưu lượng trên mạng này bao gồm:
- Người dùng gửi prompt.
- API Gateway.
- AI Service.
- Kubernetes Control Plane.
- AI Agent.
- Truy cập mô hình AI.
Có thể xem đây là "cổng vào" của toàn bộ AI Cluster.
3. Storage Network
Training AI tiêu thụ lượng dữ liệu khổng lồ.
Dataset có thể lên tới hàng chục hoặc hàng trăm terabyte.
Storage Network kết nối GPU với:
- NAS.
- Object Storage.
- Parallel File System.
- Data Lake.
Trong sơ đồ, Storage sử dụng các liên kết 800 GbE, cho thấy yêu cầu rất cao về băng thông để tránh việc GPU phải chờ dữ liệu từ hệ thống lưu trữ.
Inter-GPU Network – Trái tim của AI Training
Ở mô hình 128 GPU xuất hiện thêm một thành phần rất quan trọng:
Inter-GPU Network
Đây chính là Backend AI Fabric.
Khác với Front-End Network, Inter-GPU Network chỉ phục vụ việc trao đổi dữ liệu giữa các GPU.
Các lưu lượng điển hình gồm:
- AllReduce.
- AllGather.
- ReduceScatter.
- Broadcast.
- Pipeline Parallelism.
- Tensor Parallelism.
Đây là nơi yêu cầu:
- Độ trễ cực thấp.
- Lossless Ethernet.
- RoCEv2.
- ECN.
- PFC.
- Dynamic Load Balancing.
Trong cụm 96 GPU nhỏ hơn, việc trao đổi giữa các GPU có thể được đáp ứng bằng cặp switch hiện có. Khi mở rộng lên 128 GPU, lưu lượng giữa các SU tăng lên đáng kể nên kiến trúc bổ sung một lớp Inter-GPU Network chuyên biệt để duy trì hiệu năng khi các GPU đồng bộ dữ liệu trên quy mô lớn.
Vì sao cụm 128 GPU cần thêm mạng Backend riêng?
Ở cụm 96 GPU:
- Hai switch có thể vừa phục vụ Front-End vừa xử lý lưu lượng GPU.
Khi mở rộng lên 128 GPU:
- Khối lượng Collective Communication tăng mạnh.
- Lưu lượng east-west giữa các GPU chiếm phần lớn băng thông.
Nếu vẫn dùng chung hạ tầng mạng, lưu lượng Front-End và Backend sẽ cạnh tranh tài nguyên, dễ tạo ra điểm nghẽn. Vì vậy, NVIDIA khuyến nghị tách riêng một Inter-GPU Network chuyên dụng để đảm bảo GPU luôn có đường truyền tốc độ cao và độ trễ thấp cho các phép đồng bộ.
Vì sao sử dụng liên kết 800 GbE?
Một điểm nổi bật của sơ đồ là các kết nối 800 GbE.
Đây là xu hướng của các AI Cluster thế hệ mới.
Lý do rất đơn giản:
Một GPU NVIDIA H100 hoặc B200 có thể xử lý hàng nghìn tỷ phép tính mỗi giây. Nếu mạng chỉ cung cấp vài chục gigabit mỗi giây, GPU sẽ nhanh chóng rơi vào trạng thái chờ dữ liệu và không thể khai thác hết năng lực tính toán.
Băng thông 800 GbE giúp:
- Giảm thời gian đồng bộ giữa GPU.
- Rút ngắn thời gian huấn luyện.
- Tăng hiệu suất của các phép toán tập thể.
- Hỗ trợ mở rộng cụm mà không làm giảm hiệu năng.
Kiến trúc hướng đến khả năng mở rộng
Điểm hay nhất của NVIDIA ERA là không thiết kế cho một kích thước cố định.
Doanh nghiệp có thể bắt đầu với:
- 1 SU (32 GPU).
- 2 SU (64 GPU).
Sau đó mở rộng lên:
- 3 SU (96 GPU).
- 4 SU (128 GPU).
Xa hơn nữa, nhiều SU có thể được kết nối thông qua các lớp Spine–Leaf để tạo thành các AI Cluster hàng trăm hoặc hàng nghìn GPU mà vẫn giữ nguyên nguyên tắc thiết kế ban đầu. Đây là lý do kiến trúc này được gọi là Scalable Unit – mỗi SU là một "khối xây dựng" có thể lắp ghép linh hoạt để tăng quy mô mà không cần thay đổi nền tảng. Kết luận
Sơ đồ cho thấy một AI Cluster hiện đại không chỉ đơn thuần là tập hợp các máy chủ GPU, mà là một hệ thống được phân tách thành nhiều lớp mạng với chức năng riêng: Management Network phục vụ quản trị, Front-End Network tiếp nhận và phân phối yêu cầu từ người dùng, Storage Network cung cấp dữ liệu tốc độ cao, và Inter-GPU Network đảm nhận việc đồng bộ dữ liệu giữa các GPU.
Kiến trúc Scalable Unit (SU) của NVIDIA giúp doanh nghiệp triển khai từ vài chục đến hàng trăm GPU theo cách nhất quán và dễ mở rộng. Kết hợp với mạng Ethernet 800 GbE, RoCEv2 và AI Fabric chuyên dụng, đây đang là mô hình tham chiếu được nhiều nhà cung cấp như Cisco, NVIDIA và các đối tác hạ tầng AI áp dụng để xây dựng các AI Data Center hiện đại.
Attached Files