Xây dựng hạ tầng mạng cho dự án AI/ML với LLM

[dangquangminh]

Xây dựng hạ tầng mạng cho dự án AI/ML với LLM


Bối cảnh dự án
Một công ty giao dịch tài chính hàng đầu, chuyên hỗ trợ trader, nhà đầu tư và cố vấn, đang tìm cách ứng dụng AI để cải thiện dịch vụ khách hàng. Một nhóm nhỏ trong công ty tin rằng Mô hình Ngôn ngữ Lớn (LLM) có thể giúp họ viết đề nghị nhanh hơn, cá nhân hóa phản hồi và nâng cao sự hài lòng của khách hàng.

Nhóm này quyết định triển khai một môi trường lab AI để thử nghiệm các framework AI/ML, với mục tiêu:

• Tăng tốc độ xử lý yêu cầu khách hàng
• Cải thiện chất lượng giao tiếp
• Giữ vững lợi thế cạnh tranh trên thị trường

---

Hạ tầng hiện tại của công ty

• Mạng doanh nghiệp: Bảo mật cao, tốc độ cao, kết nối toàn bộ các hoạt động giao dịch và vận hành nội bộ.
• Data Center chuyên dụng cho HPC: Chạy các workload phân tích và thuật toán giao dịch phức tạp.
• Dịch vụ SaaS: Cung cấp toàn bộ các ứng dụng khác của công ty, giúp linh hoạt, dễ mở rộng và giảm gánh nặng vận hành.

---

Vai trò của IT trong dự án
Là thành viên của đội IT, nhiệm vụ của bạn là thiết kế và triển khai hạ tầng mạng cho dự án LLM, bao gồm:

• Lựa chọn GPU hiệu năng cao phục vụ AI/ML
• Đảm bảo kết nối băng thông lớn, độ trễ thấp giữa GPU nodes và hệ thống lưu trữ
• Giải quyết bài toán tích hợp workload AI và các workload khác trong cùng trung tâm dữ liệu mà vẫn duy trì hiệu suất và bảo mật
• Đề xuất chiến lược tối ưu chi phí nhưng vẫn đáp ứng yêu cầu hiệu năng

---

Tầm quan trọng của dự án
Triển khai thành công dự án này sẽ giúp công ty:

• Nâng cấp quy trình giao tiếp với khách hàng
• Tăng sự hài lòng và gắn kết của khách hàng
• Duy trì vị thế cạnh tranh trong thị trường tài chính ngày càng khốc liệt