Tweet
Data Plane của một IP Storage Network hoạt động như thế nào?
Khi nói đến mạng lưu trữ IP (IP Storage Network) như iSCSI, NVMe/TCP hay NVMe/RDMA, nhiều người thường chỉ nhìn thấy các gói TCP hoặc UDP chạy trên Ethernet. Tuy nhiên bên trong còn có nhiều lớp luồng dữ liệu khác nhau. Hình trên mô tả rất rõ cấu trúc của Data Plane trong một hệ thống lưu trữ IP. Sau đây chúng ta hãy cùng khảo sát chi tiết các lớp của tác vụ truy cập dữ liệu.
Lớp 1: Link (Liên kết vật lý)
Đây là đường truyền vật lý hoặc logic của mạng AI sẽ dùng Ethernet 10G, 25G, 100G, 400G...Fibre Channel over Ethernet (FCoE), RoCEv2 Network. Toàn bộ lưu lượng lưu trữ sẽ đi qua các liên kết này.
Lớp 2: TCP hoặc UDP Flow (Long-Lived)
Một dòng lưu lượng flow sẽ được xác định bởi 5 thông số quen thuộc Source IP, Destination IP, Layer-4 Protocol (TCP hoặc UDP), Source Port, Destination Port. Ví dụ:
10.1.1.10:50000 → 10.1.1.100:4420 (NVMe/TCP)
hoặc
10.1.1.10:55000 → 10.1.1.100:3260 (iSCSI)
Các flow này thường tồn tại trong thời gian dài (Long-Lived).
Một máy chủ có thể duy trì nhiều phiên TCP song song tới cùng một hệ thống lưu trữ để tăng thông lượng và hỗ trợ cân bằng tải.
Lớp 3: I/O Flow (Long-Lived)
Bên trong mỗi TCP hoặc UDP Flow lại tồn tại các I/O Flow. Một I/O Flow lúc này lại đại diện cho một LUN (Logical Unit) trong SAN hoặc một Namespace trong NVMe. Ví dụ Database Volume, VMware Datastore, AI Training Dataset. Toàn bộ các thao tác đọc/ghi tới volume đó sẽ được gom vào một I/O Flow. Các I/O Flow này cũng có tuổi thọ dài vì volume thường được gắn liên tục trong suốt thời gian hệ thống hoạt động.
Lớp 4: I/O Operations (Short-Lived)
Đây là các hoạt động thực sự diễn ra trên đĩa Read, Write, Flush, Compare, Trim/Discard. Ví dụ: Read 8 KB, Write 64 KB, Read 1 MB. Mỗi I/O Operation chỉ tồn tại trong thời gian rất ngắn (microsecond hoặc millisecond), sau đó hoàn thành và biến mất.
Trong hình, các vòng tròn nhỏ tượng trưng cho hàng nghìn hoặc hàng triệu I/O Operation đang được tạo ra liên tục.
Vì sao điều này quan trọng trong AI và Storage hiện đại?
Trong các cụm AI sử dụng NVIDIA DGX, Cisco UCS AI POD, NVMe-oF Storage, Ceph, VAST Data, Pure Storage, Dell PowerScale số lượng I/O Operation có thể cực kỳ lớn. Ví dụ cụ thể để các bạn có thể hình dung:
mà còn phải quan tâm đến các thông số như IOPS, Queue Depth, Latency, Jitter, Congestion, Load Balancing giữa các flow....
Góc nhìn dành cho kỹ sư mạng
Một sai lầm phổ biến là nghĩ rằng: "Chỉ cần đủ băng thông là đủ." Thực tế không phải vậy. Một mạng 400G vẫn có thể làm hệ thống lưu trữ hoạt động kém nếu độ trễ Latency tăng đột biến, Packet loss xuất hiện, ECMP phân phối không đều, PFC hoặc ECN cấu hình không đúng, một số flow bị "elephant flow" chiếm dụng tài nguyên... Trong môi trường trí tuệ nhân tạo AI và mạng lưu trữ Storage hiện đại, điều quan trọng không chỉ là tốc độ đường truyền mà còn là khả năng xử lý ổn định hàng triệu các tác vụ I/O Operation đang chạy bên trong các flow TCP/UDP đó. Link mang các Flow, Flow mang các I/O Flow, và I/O Flow lại chứa hàng triệu I/O Operations. Đây chính là cách dữ liệu được vận chuyển từ GPU hoặc máy chủ tới hệ thống lưu trữ trong các kiến trúc AI Data Center ngày nay.
Khi nói đến mạng lưu trữ IP (IP Storage Network) như iSCSI, NVMe/TCP hay NVMe/RDMA, nhiều người thường chỉ nhìn thấy các gói TCP hoặc UDP chạy trên Ethernet. Tuy nhiên bên trong còn có nhiều lớp luồng dữ liệu khác nhau. Hình trên mô tả rất rõ cấu trúc của Data Plane trong một hệ thống lưu trữ IP. Sau đây chúng ta hãy cùng khảo sát chi tiết các lớp của tác vụ truy cập dữ liệu.
Lớp 1: Link (Liên kết vật lý)
Đây là đường truyền vật lý hoặc logic của mạng AI sẽ dùng Ethernet 10G, 25G, 100G, 400G...Fibre Channel over Ethernet (FCoE), RoCEv2 Network. Toàn bộ lưu lượng lưu trữ sẽ đi qua các liên kết này.
Lớp 2: TCP hoặc UDP Flow (Long-Lived)
Một dòng lưu lượng flow sẽ được xác định bởi 5 thông số quen thuộc Source IP, Destination IP, Layer-4 Protocol (TCP hoặc UDP), Source Port, Destination Port. Ví dụ:
10.1.1.10:50000 → 10.1.1.100:4420 (NVMe/TCP)
hoặc
10.1.1.10:55000 → 10.1.1.100:3260 (iSCSI)
Các flow này thường tồn tại trong thời gian dài (Long-Lived).
Một máy chủ có thể duy trì nhiều phiên TCP song song tới cùng một hệ thống lưu trữ để tăng thông lượng và hỗ trợ cân bằng tải.
Lớp 3: I/O Flow (Long-Lived)
Bên trong mỗi TCP hoặc UDP Flow lại tồn tại các I/O Flow. Một I/O Flow lúc này lại đại diện cho một LUN (Logical Unit) trong SAN hoặc một Namespace trong NVMe. Ví dụ Database Volume, VMware Datastore, AI Training Dataset. Toàn bộ các thao tác đọc/ghi tới volume đó sẽ được gom vào một I/O Flow. Các I/O Flow này cũng có tuổi thọ dài vì volume thường được gắn liên tục trong suốt thời gian hệ thống hoạt động.
Lớp 4: I/O Operations (Short-Lived)
Đây là các hoạt động thực sự diễn ra trên đĩa Read, Write, Flush, Compare, Trim/Discard. Ví dụ: Read 8 KB, Write 64 KB, Read 1 MB. Mỗi I/O Operation chỉ tồn tại trong thời gian rất ngắn (microsecond hoặc millisecond), sau đó hoàn thành và biến mất.
Trong hình, các vòng tròn nhỏ tượng trưng cho hàng nghìn hoặc hàng triệu I/O Operation đang được tạo ra liên tục.
Vì sao điều này quan trọng trong AI và Storage hiện đại?
Trong các cụm AI sử dụng NVIDIA DGX, Cisco UCS AI POD, NVMe-oF Storage, Ceph, VAST Data, Pure Storage, Dell PowerScale số lượng I/O Operation có thể cực kỳ lớn. Ví dụ cụ thể để các bạn có thể hình dung:
- Một flow TCP có thể tồn tại hàng giờ.
- Một Namespace NVMe có thể tồn tại nhiều tháng.
- Nhưng bên trong có hàng tỷ I/O Operation được tạo và hoàn thành liên tục.
mà còn phải quan tâm đến các thông số như IOPS, Queue Depth, Latency, Jitter, Congestion, Load Balancing giữa các flow....
Góc nhìn dành cho kỹ sư mạng
Một sai lầm phổ biến là nghĩ rằng: "Chỉ cần đủ băng thông là đủ." Thực tế không phải vậy. Một mạng 400G vẫn có thể làm hệ thống lưu trữ hoạt động kém nếu độ trễ Latency tăng đột biến, Packet loss xuất hiện, ECMP phân phối không đều, PFC hoặc ECN cấu hình không đúng, một số flow bị "elephant flow" chiếm dụng tài nguyên... Trong môi trường trí tuệ nhân tạo AI và mạng lưu trữ Storage hiện đại, điều quan trọng không chỉ là tốc độ đường truyền mà còn là khả năng xử lý ổn định hàng triệu các tác vụ I/O Operation đang chạy bên trong các flow TCP/UDP đó. Link mang các Flow, Flow mang các I/O Flow, và I/O Flow lại chứa hàng triệu I/O Operations. Đây chính là cách dữ liệu được vận chuyển từ GPU hoặc máy chủ tới hệ thống lưu trữ trong các kiến trúc AI Data Center ngày nay.
Attached Files