Tweet
Xây dựng AI Agent riêng cho doanh nghiệp: Đừng vội Fine-tune, hãy bắt đầu từ Context Engineering
Khi nói đến việc xây dựng AI Agent nội bộ, nhiều người thường nghĩ ngay đến việc huấn luyện lại mô hình (Fine-tuning). Tuy nhiên, thực tế của phần lớn doanh nghiệp lại hoàn toàn khác.
Khoảng 80–90% giá trị của một AI Agent đến từ việc cung cấp đúng ngữ cảnh (Context), dữ liệu và công cụ, chứ không phải thay đổi trọng số của mô hình.
Đó cũng là thông điệp chính của sơ đồ trên.
Một AI Agent riêng cần những thành phần nào?
Để xây dựng một AI Agent chạy hoàn toàn trong doanh nghiệp, bạn chỉ cần một công nghệ nền tảng tương đối đơn giản. 1. Compute Infrastructure
Đây là nơi chạy mô hình ngôn ngữ (LLM).
Bạn không nhất thiết phải sử dụng các mô hình hàng trăm tỷ tham số. Hiện nay, nhiều doanh nghiệp đã có thể triển khai các mô hình mã nguồn mở như:
Các mô hình này có thể chạy trên một hoặc vài GPU phổ thông nhưng vẫn đáp ứng tốt nhiều tác vụ doanh nghiệp.
Bên cạnh đó, bạn cần một Agent Runtime như CrewAI để điều phối nhiều AI Agent cùng cộng tác, phân chia nhiệm vụ và phối hợp xử lý công việc.
2. Vector Database
LLM không thể nhớ toàn bộ tài liệu của doanh nghiệp.
Thay vào đó, tài liệu sẽ được lưu dưới dạng Embedding trong một Vector Database như:
Khi người dùng đặt câu hỏi, AI sẽ tìm những tài liệu liên quan nhất trước khi tạo câu trả lời. Đây chính là nền tảng của Retrieval-Augmented Generation (RAG).
3. Memory
AI Agent cần ghi nhớ các cuộc hội thoại và trạng thái làm việc.
Ví dụ:
Các thông tin này thường được lưu trong cơ sở dữ liệu như MongoDB, giúp AI Agent duy trì ngữ cảnh qua nhiều phiên làm việc.
Hai cách phát triển AI hoàn toàn khác nhau
Hình minh họa chia AI thành hai hướng tiếp cận. 1. Applied AI/ML – Cách doanh nghiệp nên bắt đầu
Ở hướng này, không thay đổi trọng số của mô hình (Model Weights Unchanged).
Thay vào đó, doanh nghiệp nâng cao khả năng của AI thông qua:
Đây được gọi là Augmentation – mở rộng năng lực của mô hình bằng dữ liệu và công cụ bên ngoài.
Hiện nay, phần lớn các hệ thống AI Agent trong doanh nghiệp đều được xây dựng theo hướng này vì chi phí thấp, triển khai nhanh và dễ cập nhật.
2. Core AI/ML – Thay đổi chính mô hình
Nếu doanh nghiệp cần AI có kiến thức hoặc hành vi rất đặc thù, khi đó mới cần can thiệp vào trọng số của mô hình.
Các kỹ thuật phổ biến gồm:
Đây là công việc đòi hỏi nhiều GPU, dữ liệu chất lượng cao và đội ngũ AI chuyên sâu.
Tháp phát triển AI
Sơ đồ bên phải mô tả các cấp độ phát triển AI theo thứ tự từ nền tảng đến nâng cao. Pre-training
Đây là giai đoạn xây dựng Foundation Model từ hàng nghìn tỷ token.
Chỉ những tổ chức như OpenAI, Anthropic, Meta hay Google mới có đủ nguồn lực để thực hiện ở quy mô lớn.
Fine-tuning
Điều chỉnh trọng số của mô hình để phù hợp với một lĩnh vực cụ thể như y tế, tài chính hoặc pháp lý.
Reinforcement Learning
Tiếp tục cải thiện mô hình bằng cơ chế phản hồi và phần thưởng, giúp AI đưa ra các quyết định phù hợp hơn trong những nhiệm vụ phức tạp.
Augmentation
Không thay đổi mô hình mà mở rộng khả năng thông qua RAG, công cụ, API, cơ sở dữ liệu và AI Agent.
Đây là hướng đi phổ biến nhất trong doanh nghiệp hiện nay.
Context Engineering
Đây là tầng cao nhất và cũng đang trở thành xu hướng của AI Agent hiện đại.
Thay vì cố gắng làm cho mô hình "thông minh hơn", mục tiêu là cung cấp đúng ngữ cảnh, đúng dữ liệu và đúng công cụ tại đúng thời điểm. Một AI Agent có thể truy cập tài liệu nội bộ, gọi API, sử dụng cơ sở dữ liệu, phối hợp với các agent khác và ghi nhớ lịch sử làm việc sẽ tạo ra giá trị lớn hơn nhiều so với việc chỉ tăng số lượng tham số của mô hình.
Kết luận
Đối với đa số doanh nghiệp, xây dựng AI Agent không bắt đầu bằng việc huấn luyện một mô hình mới. Điều quan trọng hơn là lựa chọn một mô hình mã nguồn mở phù hợp, triển khai trên hạ tầng nội bộ, kết hợp với Vector Database, Memory, RAG và Agent Runtime để tạo ra một hệ thống AI có khả năng truy cập tri thức doanh nghiệp và thực hiện công việc một cách an toàn.
Nói cách khác, lợi thế cạnh tranh ngày nay không còn nằm ở việc sở hữu mô hình lớn nhất, mà ở khả năng xây dựng một hệ sinh thái AI Agent biết khai thác đúng ngữ cảnh, đúng dữ liệu và đúng công cụ để hỗ trợ công việc. Đây chính là tinh thần của Context Engineering – xu hướng đang định hình thế hệ AI Agent tiếp theo.
Khi nói đến việc xây dựng AI Agent nội bộ, nhiều người thường nghĩ ngay đến việc huấn luyện lại mô hình (Fine-tuning). Tuy nhiên, thực tế của phần lớn doanh nghiệp lại hoàn toàn khác.
Khoảng 80–90% giá trị của một AI Agent đến từ việc cung cấp đúng ngữ cảnh (Context), dữ liệu và công cụ, chứ không phải thay đổi trọng số của mô hình.
Đó cũng là thông điệp chính của sơ đồ trên.
Một AI Agent riêng cần những thành phần nào?
Để xây dựng một AI Agent chạy hoàn toàn trong doanh nghiệp, bạn chỉ cần một công nghệ nền tảng tương đối đơn giản. 1. Compute Infrastructure
Đây là nơi chạy mô hình ngôn ngữ (LLM).
Bạn không nhất thiết phải sử dụng các mô hình hàng trăm tỷ tham số. Hiện nay, nhiều doanh nghiệp đã có thể triển khai các mô hình mã nguồn mở như:
- Mistral 7B
- Qwen 2.5 7B
- Llama 3.x 8B
Các mô hình này có thể chạy trên một hoặc vài GPU phổ thông nhưng vẫn đáp ứng tốt nhiều tác vụ doanh nghiệp.
Bên cạnh đó, bạn cần một Agent Runtime như CrewAI để điều phối nhiều AI Agent cùng cộng tác, phân chia nhiệm vụ và phối hợp xử lý công việc.
2. Vector Database
LLM không thể nhớ toàn bộ tài liệu của doanh nghiệp.
Thay vào đó, tài liệu sẽ được lưu dưới dạng Embedding trong một Vector Database như:
- Chroma
- Milvus
- Qdrant
- pgvector
Khi người dùng đặt câu hỏi, AI sẽ tìm những tài liệu liên quan nhất trước khi tạo câu trả lời. Đây chính là nền tảng của Retrieval-Augmented Generation (RAG).
3. Memory
AI Agent cần ghi nhớ các cuộc hội thoại và trạng thái làm việc.
Ví dụ:
- Người dùng đang xử lý ticket nào
- Khách hàng thuộc phòng ban nào
- Agent đã thực hiện bước nào
- Công việc còn dang dở
Các thông tin này thường được lưu trong cơ sở dữ liệu như MongoDB, giúp AI Agent duy trì ngữ cảnh qua nhiều phiên làm việc.
Hai cách phát triển AI hoàn toàn khác nhau
Hình minh họa chia AI thành hai hướng tiếp cận. 1. Applied AI/ML – Cách doanh nghiệp nên bắt đầu
Ở hướng này, không thay đổi trọng số của mô hình (Model Weights Unchanged).
Thay vào đó, doanh nghiệp nâng cao khả năng của AI thông qua:
- MCP (Model Context Protocol)
- RAG
- Tool Calling
- Agent-to-Agent (A2A)
- Prompt Engineering
- Memory
- Workflow
Đây được gọi là Augmentation – mở rộng năng lực của mô hình bằng dữ liệu và công cụ bên ngoài.
Hiện nay, phần lớn các hệ thống AI Agent trong doanh nghiệp đều được xây dựng theo hướng này vì chi phí thấp, triển khai nhanh và dễ cập nhật.
2. Core AI/ML – Thay đổi chính mô hình
Nếu doanh nghiệp cần AI có kiến thức hoặc hành vi rất đặc thù, khi đó mới cần can thiệp vào trọng số của mô hình.
Các kỹ thuật phổ biến gồm:
- Fine-tuning
- LoRA
- QLoRA
- RLHF (Reinforcement Learning from Human Feedback)
- RLVF (Reinforcement Learning from Verifiable Feedback)
Đây là công việc đòi hỏi nhiều GPU, dữ liệu chất lượng cao và đội ngũ AI chuyên sâu.
Tháp phát triển AI
Sơ đồ bên phải mô tả các cấp độ phát triển AI theo thứ tự từ nền tảng đến nâng cao. Pre-training
Đây là giai đoạn xây dựng Foundation Model từ hàng nghìn tỷ token.
Chỉ những tổ chức như OpenAI, Anthropic, Meta hay Google mới có đủ nguồn lực để thực hiện ở quy mô lớn.
Fine-tuning
Điều chỉnh trọng số của mô hình để phù hợp với một lĩnh vực cụ thể như y tế, tài chính hoặc pháp lý.
Reinforcement Learning
Tiếp tục cải thiện mô hình bằng cơ chế phản hồi và phần thưởng, giúp AI đưa ra các quyết định phù hợp hơn trong những nhiệm vụ phức tạp.
Augmentation
Không thay đổi mô hình mà mở rộng khả năng thông qua RAG, công cụ, API, cơ sở dữ liệu và AI Agent.
Đây là hướng đi phổ biến nhất trong doanh nghiệp hiện nay.
Context Engineering
Đây là tầng cao nhất và cũng đang trở thành xu hướng của AI Agent hiện đại.
Thay vì cố gắng làm cho mô hình "thông minh hơn", mục tiêu là cung cấp đúng ngữ cảnh, đúng dữ liệu và đúng công cụ tại đúng thời điểm. Một AI Agent có thể truy cập tài liệu nội bộ, gọi API, sử dụng cơ sở dữ liệu, phối hợp với các agent khác và ghi nhớ lịch sử làm việc sẽ tạo ra giá trị lớn hơn nhiều so với việc chỉ tăng số lượng tham số của mô hình.
Kết luận
Đối với đa số doanh nghiệp, xây dựng AI Agent không bắt đầu bằng việc huấn luyện một mô hình mới. Điều quan trọng hơn là lựa chọn một mô hình mã nguồn mở phù hợp, triển khai trên hạ tầng nội bộ, kết hợp với Vector Database, Memory, RAG và Agent Runtime để tạo ra một hệ thống AI có khả năng truy cập tri thức doanh nghiệp và thực hiện công việc một cách an toàn.
Nói cách khác, lợi thế cạnh tranh ngày nay không còn nằm ở việc sở hữu mô hình lớn nhất, mà ở khả năng xây dựng một hệ sinh thái AI Agent biết khai thác đúng ngữ cảnh, đúng dữ liệu và đúng công cụ để hỗ trợ công việc. Đây chính là tinh thần của Context Engineering – xu hướng đang định hình thế hệ AI Agent tiếp theo.
Attached Files