Tweet
Khi đưa một tài liệu dài cho AI, nhiều người thường nghĩ vấn đề lớn nhất là liệu mô hình có thể "đọc hết" hay không.
Nhưng với các model hiện đại như Claude, câu chuyện không chỉ nằm ở độ dài của tài liệu.
Cách thông tin được tổ chức trong context cũng ảnh hưởng đến chất lượng xử lý.
Tài liệu Prompt Engineering Best Practices của Anthropic cho biết các model hiện đại đã có những cải thiện đáng kể về khả năng nhận biết và xử lý thông tin trong context dài. Tuy nhiên, việc tổ chức thông tin rõ ràng và chia nhỏ những nhiệm vụ phức tạp vẫn có giá trị.
Tài liệu dài không có nghĩa là cứ đưa tất cả vào một lần
Khi làm việc với một context lớn, bạn có thể có rất nhiều thông tin cùng lúc: nội dung tài liệu, lịch sử hội thoại, instruction, kết quả từ tools hay các ví dụ.
Nếu tất cả đều được đưa vào mà không có cấu trúc rõ ràng, Claude sẽ phải xử lý một lượng thông tin lớn để tìm ra phần thực sự cần thiết cho nhiệm vụ.
Vì vậy, Anthropic khuyến nghị khi làm việc với long context nên tổ chức thông tin rõ ràng, đồng thời đặt những chi tiết quan trọng nhất ở phần đầu hoặc cuối context.
"Lost in the middle" là gì?
Trong CCAR-F Exam Guide, lost in the middle được đề cập trong phần Context Management & Reliability.
Theo tài liệu, model có xu hướng xử lý thông tin ở phần đầu và cuối của input dài tốt hơn, trong khi có thể bỏ sót một số phát hiện nằm ở phần giữa.
Điều này giải thích tại sao việc sắp xếp thông tin trong context không phải chuyện nhỏ.
Nếu có một thông tin đặc biệt quan trọng, thay vì để nó nằm giữa một lượng lớn nội dung, bạn cần cân nhắc cách tổ chức context để thông tin đó dễ được chú ý và sử dụng hơn.
Không chỉ tài liệu, tool output cũng có thể làm context "phình to"
Context của một ứng dụng Claude không chỉ chứa tài liệu người dùng đưa vào.
Kết quả trả về từ tools cũng có thể tích lũy trong context và tiêu tốn token nhiều hơn mức cần thiết. Exam Guide đưa ra ví dụ: một lần tra cứu đơn hàng có thể trả về hơn 40 trường dữ liệu trong khi nhiệm vụ thực tế chỉ cần khoảng 5 trường. Vì vậy, một kỹ năng quan trọng là loại bỏ những phần tool output không liên quan trước khi chúng tiếp tục được đưa vào context.
Thay vì:
Tool → trả về rất nhiều dữ liệu → đưa toàn bộ vào context
có thể hướng đến:
Tool → lọc thông tin cần thiết → đưa phần liên quan vào context
Điều này giúp context gọn hơn và tập trung hơn vào nhiệm vụ đang xử lý.
Khi nào nên chia nhỏ tài liệu hoặc task?
Anthropic lưu ý rằng task splitting vẫn hữu ích ngay cả khi khả năng xử lý context của model đã được cải thiện.
Lý do không đơn thuần là Claude "không xử lý nổi context dài", mà là một task có phạm vi rõ ràng giúp model tập trung hơn vào yêu cầu cụ thể.
Ví dụ, thay vì yêu cầu Claude cùng lúc: Đọc toàn bộ tài liệu → phân tích tất cả vấn đề → so sánh → đưa ra kết luận.
Có thể chia thành những bước tập trung hơn:
Phân tích từng phần
↓
Trích xuất những thông tin quan trọng
↓
Tổng hợp kết quả
↓
Đưa ra kết luận
Cách tiếp cận này cũng liên quan đến những nội dung về multi-pass review và chia các review lớn thành những phần tập trung hơn được đề cập trong Exam Guide CCAR-F.
Context Management trong CCAR-F
Quản lý context không chỉ là một mẹo khi làm việc với tài liệu dài. Đây là một trong những nội dung được đề cập trực tiếp trong CCAR-F Exam Guide.
Candidate được kỳ vọng có khả năng quản lý conversation context để duy trì những thông tin quan trọng trong các tương tác dài, đồng thời biết cách:
Kết luận
Làm việc với tài liệu dài không chỉ là đưa càng nhiều thông tin vào Claude càng tốt. Điều quan trọng hơn là biết thông tin nào cần giữ, cách tổ chức context và khi nào nên chia nhỏ nhiệm vụ. Đây là một phần tư duy quan trọng khi xây dựng ứng dụng Claude trong thực tế và cũng là nội dung đáng chú ý trong quá trình chuẩn bị CCAR-F.
Nếu bạn đang tìm hiểu chứng chỉ này, VnPro có khóa đào tạo CCAR-F giúp học viên tiếp cận các kiến thức từ nền tảng đến thực hành. Sau khi chuẩn bị, học viên cũng có thể đăng ký thi CCAR-F tại Phòng thi Quốc tế VnPro.
Cần hỗ trợ đăng ký lịch học thi chứng chỉ, hãy liên hệ Vnpro để được hỗ trợ nhanh chóng nhé!!
Nhưng với các model hiện đại như Claude, câu chuyện không chỉ nằm ở độ dài của tài liệu.
Cách thông tin được tổ chức trong context cũng ảnh hưởng đến chất lượng xử lý.
Tài liệu Prompt Engineering Best Practices của Anthropic cho biết các model hiện đại đã có những cải thiện đáng kể về khả năng nhận biết và xử lý thông tin trong context dài. Tuy nhiên, việc tổ chức thông tin rõ ràng và chia nhỏ những nhiệm vụ phức tạp vẫn có giá trị.
Tài liệu dài không có nghĩa là cứ đưa tất cả vào một lần
Khi làm việc với một context lớn, bạn có thể có rất nhiều thông tin cùng lúc: nội dung tài liệu, lịch sử hội thoại, instruction, kết quả từ tools hay các ví dụ.
Nếu tất cả đều được đưa vào mà không có cấu trúc rõ ràng, Claude sẽ phải xử lý một lượng thông tin lớn để tìm ra phần thực sự cần thiết cho nhiệm vụ.
Vì vậy, Anthropic khuyến nghị khi làm việc với long context nên tổ chức thông tin rõ ràng, đồng thời đặt những chi tiết quan trọng nhất ở phần đầu hoặc cuối context.
"Lost in the middle" là gì?
Trong CCAR-F Exam Guide, lost in the middle được đề cập trong phần Context Management & Reliability.
Theo tài liệu, model có xu hướng xử lý thông tin ở phần đầu và cuối của input dài tốt hơn, trong khi có thể bỏ sót một số phát hiện nằm ở phần giữa.
Điều này giải thích tại sao việc sắp xếp thông tin trong context không phải chuyện nhỏ.
Nếu có một thông tin đặc biệt quan trọng, thay vì để nó nằm giữa một lượng lớn nội dung, bạn cần cân nhắc cách tổ chức context để thông tin đó dễ được chú ý và sử dụng hơn.
Không chỉ tài liệu, tool output cũng có thể làm context "phình to"
Context của một ứng dụng Claude không chỉ chứa tài liệu người dùng đưa vào.
Kết quả trả về từ tools cũng có thể tích lũy trong context và tiêu tốn token nhiều hơn mức cần thiết. Exam Guide đưa ra ví dụ: một lần tra cứu đơn hàng có thể trả về hơn 40 trường dữ liệu trong khi nhiệm vụ thực tế chỉ cần khoảng 5 trường. Vì vậy, một kỹ năng quan trọng là loại bỏ những phần tool output không liên quan trước khi chúng tiếp tục được đưa vào context.
Thay vì:
Tool → trả về rất nhiều dữ liệu → đưa toàn bộ vào context
có thể hướng đến:
Tool → lọc thông tin cần thiết → đưa phần liên quan vào context
Điều này giúp context gọn hơn và tập trung hơn vào nhiệm vụ đang xử lý.
Khi nào nên chia nhỏ tài liệu hoặc task?
Anthropic lưu ý rằng task splitting vẫn hữu ích ngay cả khi khả năng xử lý context của model đã được cải thiện.
Lý do không đơn thuần là Claude "không xử lý nổi context dài", mà là một task có phạm vi rõ ràng giúp model tập trung hơn vào yêu cầu cụ thể.
Ví dụ, thay vì yêu cầu Claude cùng lúc: Đọc toàn bộ tài liệu → phân tích tất cả vấn đề → so sánh → đưa ra kết luận.
Có thể chia thành những bước tập trung hơn:
Phân tích từng phần
↓
Trích xuất những thông tin quan trọng
↓
Tổng hợp kết quả
↓
Đưa ra kết luận
Cách tiếp cận này cũng liên quan đến những nội dung về multi-pass review và chia các review lớn thành những phần tập trung hơn được đề cập trong Exam Guide CCAR-F.
Context Management trong CCAR-F
Quản lý context không chỉ là một mẹo khi làm việc với tài liệu dài. Đây là một trong những nội dung được đề cập trực tiếp trong CCAR-F Exam Guide.
Candidate được kỳ vọng có khả năng quản lý conversation context để duy trì những thông tin quan trọng trong các tương tác dài, đồng thời biết cách:
- Lưu giữ các thông tin quan trọng dưới dạng có cấu trúc.
- Tránh để tool output không cần thiết tích lũy trong context.
- Đặt những thông tin quan trọng ở vị trí phù hợp.
- Truyền dữ liệu có cấu trúc giữa các bước xử lý.
Kết luận
Làm việc với tài liệu dài không chỉ là đưa càng nhiều thông tin vào Claude càng tốt. Điều quan trọng hơn là biết thông tin nào cần giữ, cách tổ chức context và khi nào nên chia nhỏ nhiệm vụ. Đây là một phần tư duy quan trọng khi xây dựng ứng dụng Claude trong thực tế và cũng là nội dung đáng chú ý trong quá trình chuẩn bị CCAR-F.
Nếu bạn đang tìm hiểu chứng chỉ này, VnPro có khóa đào tạo CCAR-F giúp học viên tiếp cận các kiến thức từ nền tảng đến thực hành. Sau khi chuẩn bị, học viên cũng có thể đăng ký thi CCAR-F tại Phòng thi Quốc tế VnPro.
Cần hỗ trợ đăng ký lịch học thi chứng chỉ, hãy liên hệ Vnpro để được hỗ trợ nhanh chóng nhé!!