Tweet
Sơ đồ này mô tả một kiến trúc AI ứng dụng điển hình trong doanh nghiệp và quan trọng hơn, nó cho thấy AI không chỉ tạo ra giá trị mà còn mở ra một bề mặt tấn công hoàn toàn mới.
Ở phía người dùng, nhân viên hoặc khách hàng gửi truy vấn vào ứng dụng AI. Ngay từ lớp này đã có rủi ro như data exfiltration (rò rỉ dữ liệu) khi người dùng vô tình hoặc cố ý nhập dữ liệu nhạy cảm, denial of service nếu AI bị spam request, privacy attacks, chi phí bị đội lên do lạm dụng inference ("cost harvesting"), hoặc nội dung độc hại (toxicity).
Ứng dụng AI thường không chỉ gọi trực tiếp mô hình mà còn kết nối với Vector Database trong mô hình RAG để lấy ngữ cảnh từ dữ liệu nội bộ. Đây là nơi phát sinh nguy cơ indirect prompt injection: nếu dữ liệu trong kho tri thức bị cài nội dung độc hại, AI có thể bị “dẫn dụ” thực hiện hành vi ngoài ý muốn. Kết quả là phản hồi sai lệch hoặc factual inconsistency.
Ở lớp mô hình, doanh nghiệp thường dùng production-ready model được tinh chỉnh từ trained model, vốn học từ public data hoặc open-source models. Điều này kéo theo rủi ro chuỗi cung ứng AI như data poisoning (dữ liệu huấn luyện bị đầu độc), model backdoor, hoặc lỗi từ mô hình nền.
Ngay trong quá trình inference, các mối đe dọa quen thuộc của GenAI xuất hiện: prompt injection, data extraction, model misalignment, hallucination.
Điều thú vị là sơ đồ chia rõ hai vùng: Development và Production. Điều này phản ánh thực tế enterprise AI không chỉ cần bảo vệ ứng dụng khi chạy thật, mà còn phải bảo vệ cả pipeline phát triển AI (data ingestion, fine-tuning, model sourcing, validation).
Thông điệp dành cho doanh nghiệp rất rõ: AI application không chỉ là bài toán model. Nó là bài toán kiến trúc, dữ liệu, bảo mật, governance và hạ tầng vận hành end-to-end.
Ở phía người dùng, nhân viên hoặc khách hàng gửi truy vấn vào ứng dụng AI. Ngay từ lớp này đã có rủi ro như data exfiltration (rò rỉ dữ liệu) khi người dùng vô tình hoặc cố ý nhập dữ liệu nhạy cảm, denial of service nếu AI bị spam request, privacy attacks, chi phí bị đội lên do lạm dụng inference ("cost harvesting"), hoặc nội dung độc hại (toxicity).
Ứng dụng AI thường không chỉ gọi trực tiếp mô hình mà còn kết nối với Vector Database trong mô hình RAG để lấy ngữ cảnh từ dữ liệu nội bộ. Đây là nơi phát sinh nguy cơ indirect prompt injection: nếu dữ liệu trong kho tri thức bị cài nội dung độc hại, AI có thể bị “dẫn dụ” thực hiện hành vi ngoài ý muốn. Kết quả là phản hồi sai lệch hoặc factual inconsistency.
Ở lớp mô hình, doanh nghiệp thường dùng production-ready model được tinh chỉnh từ trained model, vốn học từ public data hoặc open-source models. Điều này kéo theo rủi ro chuỗi cung ứng AI như data poisoning (dữ liệu huấn luyện bị đầu độc), model backdoor, hoặc lỗi từ mô hình nền.
Ngay trong quá trình inference, các mối đe dọa quen thuộc của GenAI xuất hiện: prompt injection, data extraction, model misalignment, hallucination.
Điều thú vị là sơ đồ chia rõ hai vùng: Development và Production. Điều này phản ánh thực tế enterprise AI không chỉ cần bảo vệ ứng dụng khi chạy thật, mà còn phải bảo vệ cả pipeline phát triển AI (data ingestion, fine-tuning, model sourcing, validation).
Thông điệp dành cho doanh nghiệp rất rõ: AI application không chỉ là bài toán model. Nó là bài toán kiến trúc, dữ liệu, bảo mật, governance và hạ tầng vận hành end-to-end.
Attached Files