Tweet
TÌM HIỂU VỀ RETRIEVAL-AUGMENTED GENERATION PHẦN 1
1. Giới thiệu
1.1 Bối cảnh của các Mô hình Ngôn ngữ Lớn (LLMs)
Trong vài năm gần đây, các mô hình ngôn ngữ lớn (Large Language Models – LLMs) như GPT, LLaMA, Claude hay Gemini đã chứng minh khả năng vượt trội trong việc hiểu và sinh ngôn ngữ tự nhiên. Dựa trên kiến trúc Transformer và được huấn luyện trên tập dữ liệu khổng lồ, chúng có thể thực hiện nhiều nhiệm vụ khác nhau như tóm tắt, dịch thuật, viết mã, trả lời câu hỏi và thậm chí sáng tạo nội dung.
Tuy nhiên, mặc dù mạnh mẽ, LLMs vẫn tồn tại những hạn chế cố hữu:
- Hallucination (ảo giác thông tin): mô hình có thể tạo ra câu trả lời nghe có vẻ hợp lý nhưng thực tế lại không đúng sự thật hoặc không thể kiểm chứng.
- Kiến thức tĩnh (static knowledge): kiến thức của LLMs bị “đóng băng” tại thời điểm huấn luyện, không phản ánh được các sự kiện hoặc dữ liệu mới xuất hiện sau này.
- Chi phí và độ phức tạp khi huấn luyện lại: để cập nhật kiến thức, cần fine-tuning hoặc re-training trên dữ liệu mới, quá trình này tốn kém cả về tài nguyên tính toán và thời gian.
Để vượt qua những giới hạn trên, một hướng tiếp cận được quan tâm là kết hợp LLMs với nguồn dữ liệu bên ngoài. Ý tưởng chính là không phụ thuộc hoàn toàn vào tri thức đã “học sẵn” của mô hình, mà thay vào đó bổ sung kiến thức từ các cơ sở dữ liệu, tài liệu hoặc hệ thống tìm kiếm. Cách tiếp cận này mang lại nhiều lợi ích:
- Đảm bảo câu trả lời factual và có thể kiểm chứng.
- Cập nhật kiến thức theo thời gian thực, thay vì “đóng băng”.
- Giảm nhu cầu fine-tuning tốn kém, giúp triển khai nhanh hơn trong doanh nghiệp.
Từ nhu cầu đó, Retrieval-Augmented Generation (RAG) ra đời như một phương pháp kết hợp giữa khả năng truy hồi thông tin và khả năng sinh ngôn ngữ tự nhiên. Mục tiêu chính của RAG là:
- Cung cấp cho LLM ngữ cảnh bổ sung từ nguồn dữ liệu liên quan trước khi sinh câu trả lời.
- Giảm thiểu hiện tượng “hallucination” và tăng tính minh bạch.
- Tạo nền tảng cho các ứng dụng AI trong dịch vụ khách hàng, nghiên cứu khoa học, pháp lý, y tế, và hỗ trợ doanh nghiệp.
2. RAG là gì?
Retrieval-Augmented Generation (RAG) là một phương pháp kết hợp khả năng truy hồi thông tin với khả năng sinh ngôn ngữ tự nhiên của các mô hình ngôn ngữ lớn. Khác với việc chỉ dựa hoàn toàn vào kiến thức đã học trong giai đoạn huấn luyện, RAG cho phép mô hình tiếp cận thêm dữ liệu từ những nguồn bên ngoài như cơ sở tri thức, tài liệu doanh nghiệp hoặc cơ sở dữ liệu vector. Nhờ đó, mô hình có thể sử dụng thông tin được truy xuất làm ngữ cảnh bổ sung khi tạo ra câu trả lời, giúp cho kết quả vừa chính xác vừa cập nhật hơn.
Khái niệm này được giới thiệu lần đầu vào năm 2020 bởi nhóm nghiên cứu của Meta (Facebook AI Research) trong bài báo “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”. Trong bối cảnh đó, các mô hình ngôn ngữ lớn dù rất mạnh nhưng vẫn bộc lộ hạn chế: chúng dễ sinh ra thông tin sai lệch và thường không thể xử lý dữ liệu mới sau thời điểm huấn luyện. Các phương pháp như fine-tuning phần nào giải quyết được vấn đề này, song lại đòi hỏi chi phí cao và khó cập nhật thường xuyên. RAG ra đời như một hướng đi khác, tách biệt rõ hai bước: một bên chuyên trách truy hồi dữ liệu liên quan, một bên chịu trách nhiệm sinh câu trả lời. Sự phân tách này không chỉ làm tăng tính chính xác mà còn mang đến khả năng mở rộng linh hoạt, vì chỉ cần cập nhật kho dữ liệu ngoài thay vì phải huấn luyện lại toàn bộ mô hình.
Nhờ đó, RAG nhanh chóng trở thành một trong những phương pháp tiêu biểu để khắc phục hạn chế cố hữu của LLM. Nó mang đến cho mô hình một “trí nhớ mở rộng”, giúp hệ thống vừa tận dụng được sức mạnh ngôn ngữ vốn có, vừa có khả năng truy xuất và kết hợp kiến thức bên ngoài để tạo ra những câu trả lời phù hợp, đáng tin cậy và gần sát với nhu cầu thực tế hơn.
3. Kiến trúc và quy trình của RAG
RAG hoạt động theo một quy trình khép kín, trong đó việc truy hồi thông tin và sinh ngôn ngữ được gắn kết chặt chẽ để tạo ra câu trả lời có cơ sở. Khi người dùng đặt một câu hỏi, truy vấn này trước hết được chuyển thành biểu diễn vector thông qua một bộ mã hóa (query encoder). Dạng biểu diễn này cho phép hệ thống so sánh ngữ nghĩa thay vì chỉ so khớp theo từ khóa đơn thuần. Sau đó, vector biểu diễn được đưa vào kho lưu trữ vector, nơi chứa hàng triệu hoặc thậm chí hàng tỷ đoạn văn bản đã được xử lý và mã hóa trước đó.
Từ kho lưu trữ này, một mô-đun truy hồi (retriever) sẽ tìm kiếm những đoạn văn bản có độ tương đồng cao nhất với truy vấn gốc. Những kết quả này thường được lựa chọn theo chiến lược Top-K, nghĩa là chỉ giữ lại một số ít tài liệu liên quan nhất. Các đoạn văn bản truy xuất được sau đó được chuyển tới thành phần xây dựng prompt (prompt builder). Tại đây, hệ thống sẽ ghép nối thông tin truy hồi với câu hỏi của người dùng, hình thành nên một ngữ cảnh hoàn chỉnh để đưa vào mô hình ngôn ngữ.
Bước cuối cùng, mô hình ngôn ngữ lớn (chẳng hạn như GPT, LLaMA hoặc Claude) sẽ tiếp nhận prompt đã được bổ sung ngữ cảnh và sinh ra câu trả lời. Nhờ có dữ liệu ngoài hỗ trợ, câu trả lời của mô hình không chỉ tự nhiên và mạch lạc mà còn bám sát nguồn thông tin thực tế. Kiến trúc này vì thế tạo ra sự cân bằng: mô hình vẫn tận dụng được khả năng ngôn ngữ đã học trong giai đoạn huấn luyện, đồng thời tránh được rủi ro sinh thông tin sai nhờ dựa vào bằng chứng được truy hồi.
Nhìn chung, quy trình của RAG có thể được mô tả như một vòng lặp: truy vấn được mã hóa, so sánh trong không gian vector, tài liệu liên quan được truy xuất, sau đó kết hợp với câu hỏi ban đầu để xây dựng một ngữ cảnh phong phú cho mô hình ngôn ngữ. Đây chính là sự khác biệt cốt lõi so với cách dùng LLM truyền thống, nơi câu hỏi được đưa trực tiếp vào mô hình mà không có bước bổ sung dữ liệu nào.