Tweet
Có thể đơn giản hóa quá trình thành 3 giai đoạn:
Pre-training → Instruction Tuning → Reinforcement Learning
1. Pre-training – Cho AI "học thế giới"
Đây là giai đoạn lớn và tốn tài nguyên nhất.
Mô hình được huấn luyện trên lượng dữ liệu rất lớn như:
Web, sách, code, toán học, tài liệu kỹ thuật, log...
Mục tiêu cơ bản là:
Ví dụ:
Mô hình phải học cách dự đoán token tiếp theo có khả năng xuất hiện.
Quá trình này được lặp lại với lượng dữ liệu khổng lồ. Qua đó, các tham số của neural network dần học được những pattern về ngôn ngữ, code, khái niệm và quan hệ giữa chúng.
Kết quả là một Base Model.
Nhưng có một vấn đề: Base Model có thể rất giỏi hoàn thành văn bản nhưng chưa chắc đã giỏi làm theo yêu cầu của con người.
2. Instruction Tuning – Dạy AI làm theo chỉ dẫn
Bước tiếp theo thường sử dụng SFT – Supervised Fine-Tuning.
Mô hình được huấn luyện bằng những cặp dữ liệu dạng:
Instruction:
"Hãy giải thích VLAN cho người mới học mạng."
Response:
"VLAN là kỹ thuật chia một switch vật lý..."
Nếu Pre-training giúp AI học:
thì Instruction Tuning giúp AI học:
Theo ví dụ trong hình, quy mô dữ liệu SFT có thể khoảng 10.000–100.000 instruction pairs, nhỏ hơn rất nhiều so với dữ liệu pre-training nhưng được chọn lọc kỹ hơn.
Kết quả là một mô hình dễ sử dụng hơn và biết làm theo instruction.
3. Reinforcement Learning – Căn chỉnh hành vi của AI
Bước tiếp theo nhằm giúp mô hình tạo ra câu trả lời phù hợp hơn với mục tiêu mong muốn.
Một kỹ thuật nổi tiếng là:
RLHF – Reinforcement Learning from Human Feedback
Con người có thể đánh giá hoặc xếp hạng các câu trả lời, chẳng hạn:
Prompt
↓
Response A
Response B
Response C
↓
Human Preference
↓
Training Signal
↓
Model
Qua đó mô hình học được những kiểu phản hồi nào được con người ưu tiên.
Mục tiêu rộng hơn là alignment – điều chỉnh hành vi của mô hình để phù hợp hơn với các yêu cầu, tiêu chí chất lượng và an toàn mong muốn.
RLVR – Khi câu trả lời có thể kiểm chứng
Hình còn đề cập RLVR – Reinforcement Learning with Verifiable Rewards.
Đây là hướng đặc biệt hữu ích với những bài toán mà kết quả có thể kiểm chứng tương đối rõ ràng, chẳng hạn:
Ví dụ AI được yêu cầu viết một đoạn code. Thay vì chỉ hỏi con người:
hệ thống có thể chạy test.
AI tạo code
↓
Run Tests
↓
Pass / Fail
↓
Reward
↓
Model cải thiện
Điều này tạo ra tín hiệu huấn luyện có khả năng mở rộng lớn hơn so với việc phải nhờ con người đánh giá mọi câu trả lời.
Nhìn toàn bộ quá trình
Có thể hình dung việc xây dựng một LLM hiện đại theo cách rất đơn giản:
Pre-training
→ Học từ lượng dữ liệu khổng lồ
→ tạo Base Model
Instruction Tuning / SFT
→ Học cách làm theo yêu cầu
→ tạo mô hình hữu dụng hơn
Post-training / Alignment
→ RLHF, RLVR và các kỹ thuật khác
→ cải thiện hành vi, reasoning và mức độ phù hợp với mục tiêu.
Một lưu ý quan trọng: sơ đồ trong hình là cách đơn giản hóa để giảng dạy. LLM hiện đại không nhất thiết đều đi qua chính xác ba bước này hoặc chỉ sử dụng RLHF/RLVR; các phòng nghiên cứu còn sử dụng nhiều kỹ thuật post-training và alignment khác nhau. Một câu dễ nhớ
Nếu coi LLM giống một kỹ sư IT:
Và đây chính là bước chuyển quan trọng từ một Base Model biết dự đoán token thành một AI Assistant có khả năng tương tác và giải quyết công việc cho con người.
Pre-training → Instruction Tuning → Reinforcement Learning
1. Pre-training – Cho AI "học thế giới"
Đây là giai đoạn lớn và tốn tài nguyên nhất.
Mô hình được huấn luyện trên lượng dữ liệu rất lớn như:
Web, sách, code, toán học, tài liệu kỹ thuật, log...
Mục tiêu cơ bản là:
Next Token Prediction – dự đoán token tiếp theo.
Ví dụ:
"Artificial Intelligence is changing the..."
Mô hình phải học cách dự đoán token tiếp theo có khả năng xuất hiện.
Quá trình này được lặp lại với lượng dữ liệu khổng lồ. Qua đó, các tham số của neural network dần học được những pattern về ngôn ngữ, code, khái niệm và quan hệ giữa chúng.
Kết quả là một Base Model.
Nhưng có một vấn đề: Base Model có thể rất giỏi hoàn thành văn bản nhưng chưa chắc đã giỏi làm theo yêu cầu của con người.
2. Instruction Tuning – Dạy AI làm theo chỉ dẫn
Bước tiếp theo thường sử dụng SFT – Supervised Fine-Tuning.
Mô hình được huấn luyện bằng những cặp dữ liệu dạng:
Instruction:
"Hãy giải thích VLAN cho người mới học mạng."
Response:
"VLAN là kỹ thuật chia một switch vật lý..."
Nếu Pre-training giúp AI học:
"Ngôn ngữ và dữ liệu thường có cấu trúc như thế nào?"
thì Instruction Tuning giúp AI học:
"Khi con người yêu cầu điều này, tôi nên phản hồi như thế nào?"
Theo ví dụ trong hình, quy mô dữ liệu SFT có thể khoảng 10.000–100.000 instruction pairs, nhỏ hơn rất nhiều so với dữ liệu pre-training nhưng được chọn lọc kỹ hơn.
Kết quả là một mô hình dễ sử dụng hơn và biết làm theo instruction.
3. Reinforcement Learning – Căn chỉnh hành vi của AI
Bước tiếp theo nhằm giúp mô hình tạo ra câu trả lời phù hợp hơn với mục tiêu mong muốn.
Một kỹ thuật nổi tiếng là:
RLHF – Reinforcement Learning from Human Feedback
Con người có thể đánh giá hoặc xếp hạng các câu trả lời, chẳng hạn:
Prompt
↓
Response A
Response B
Response C
↓
Human Preference
↓
Training Signal
↓
Model
Qua đó mô hình học được những kiểu phản hồi nào được con người ưu tiên.
Mục tiêu rộng hơn là alignment – điều chỉnh hành vi của mô hình để phù hợp hơn với các yêu cầu, tiêu chí chất lượng và an toàn mong muốn.
RLVR – Khi câu trả lời có thể kiểm chứng
Hình còn đề cập RLVR – Reinforcement Learning with Verifiable Rewards.
Đây là hướng đặc biệt hữu ích với những bài toán mà kết quả có thể kiểm chứng tương đối rõ ràng, chẳng hạn:
- Toán học
- Lập trình
- Logic
- Một số bài toán reasoning có đáp án kiểm chứng được
Ví dụ AI được yêu cầu viết một đoạn code. Thay vì chỉ hỏi con người:
"Code này có tốt không?"
hệ thống có thể chạy test.
AI tạo code
↓
Run Tests
↓
Pass / Fail
↓
Reward
↓
Model cải thiện
Điều này tạo ra tín hiệu huấn luyện có khả năng mở rộng lớn hơn so với việc phải nhờ con người đánh giá mọi câu trả lời.
Nhìn toàn bộ quá trình
Có thể hình dung việc xây dựng một LLM hiện đại theo cách rất đơn giản:
Pre-training
→ Học từ lượng dữ liệu khổng lồ
→ tạo Base Model
Instruction Tuning / SFT
→ Học cách làm theo yêu cầu
→ tạo mô hình hữu dụng hơn
Post-training / Alignment
→ RLHF, RLVR và các kỹ thuật khác
→ cải thiện hành vi, reasoning và mức độ phù hợp với mục tiêu.
Một lưu ý quan trọng: sơ đồ trong hình là cách đơn giản hóa để giảng dạy. LLM hiện đại không nhất thiết đều đi qua chính xác ba bước này hoặc chỉ sử dụng RLHF/RLVR; các phòng nghiên cứu còn sử dụng nhiều kỹ thuật post-training và alignment khác nhau. Một câu dễ nhớ
Nếu coi LLM giống một kỹ sư IT:
Pre-training = học kiến thức → Instruction Tuning = học cách làm việc theo yêu cầu → Reinforcement/Post-training = luyện cách giải quyết công việc ngày càng tốt hơn.
Và đây chính là bước chuyển quan trọng từ một Base Model biết dự đoán token thành một AI Assistant có khả năng tương tác và giải quyết công việc cho con người.
Attached Files