Xử lý prompt injection trong tài liệu nghiệp vụ được truy xuất

Trợ lý tài liệu cần đọc nội dung nghiệp vụ mà không coi nội dung ấy là chỉ dẫn vận hành. Sự phân biệt này đặc biệt quan trọng khi tệp đến từ nhà cung cấp, thư mục chia sẻ hoặc trang web bên ngoài. Một tài liệu tải lên có thể trộn dữ kiện hữu ích với văn bản tìm cách đổi hướng trợ lý. Cần tính đến khả năng đó trước khi kết nối công cụ thực hiện nghiệp vụ.

Xác định ranh giới tin cậy

OWASP mô tả prompt injection gián tiếp là tình huống nội dung từ nguồn bên ngoài, như trang web hoặc tệp, làm thay đổi hành vi của mô hình.[3] Tài liệu liên quan đến câu hỏi không đồng nghĩa với việc chỉ dẫn trong đó đáng tin. Thiết kế cần phân biệt yêu cầu người dùng, quy tắc ứng dụng và nội dung truy xuất.

Đánh dấu các đoạn truy xuất là bằng chứng cần diễn giải, không phải thẩm quyền mở rộng tác vụ. Yêu cầu trợ lý trích dẫn phát biểu thực tế và báo chỉ dẫn mâu thuẫn. Những biện pháp này giúp thể hiện ranh giới, nhưng không nên được giới thiệu như cơ chế bảo mật đầy đủ. OWASP không xác định một phương pháp ngăn chặn tuyệt đối.[3]

Giới hạn hậu quả ở bên ngoài mô hình

OWASP khuyến nghị thực thi phân quyền tại hệ thống đích, thay vì để mô hình quyết định hành động có được phép hay không.[4] Áp dụng nguyên tắc đó cho mọi thao tác kết nối. Trợ lý trả lời tài liệu không nên tự động có quyền gửi tin, xuất cả tập dữ liệu hoặc sửa bản ghi.

Giữ truy xuất trong phạm vi mà người dùng yêu cầu được phép truy cập. Kiểm tra yêu cầu gọi công cụ bằng mã ứng dụng thông thường và giao diện có phạm vi hẹp. Với thao tác có hậu quả đáng kể, yêu cầu phê duyệt độc lập, hiển thị đúng đối tượng và nội dung thao tác. Tài liệu đáng ngờ không bao giờ được tự cấp quyền để thực hiện chỉ dẫn của chính nó.

Kiểm tra toàn bộ đường đi của tài liệu

Kiểm tra khâu trích xuất và truy xuất cùng với prompt cuối. Tên tệp có vẻ vô hại không cho người rà soát biết văn bản nào thực sự tới mô hình. Dùng tài liệu thử có kiểm soát và tránh bản ghi bí mật thật.

• Chèn chỉ dẫn mâu thuẫn vào tài liệu thử có liên quan rồi kiểm tra câu trả lời.
• Kiểm tra văn bản độc hại có kích hoạt công cụ hoặc đổi địa chỉ nhận hay không.
• Xác minh người không có quyền vẫn không thể lấy tài liệu bị hạn chế.
• Ghi hành động đã thử, yêu cầu bị chặn và bằng chứng dùng cho từng phản hồi.
• Thử lại khi thay đổi bộ phân tích, truy xuất, prompt, mô hình hoặc quyền công cụ.

Ví dụ giả định: so sánh nhà cung cấp

Một nhóm tìm nguồn cung giả định yêu cầu trợ lý so sánh điều khoản bảo trì từ các đề xuất. Một đề xuất chứa văn bản yêu cầu gửi toàn bộ thư mục so sánh tới địa chỉ bên ngoài. Ứng dụng cần coi đó là nội dung tài liệu, không phải chỉ dẫn mới từ người dùng.

Thiết kế đề xuất không cung cấp công cụ email trong bước so sánh. Việc xuất dữ liệu phải qua luồng riêng có kiểm tra người nhận và phê duyệt của con người. Người rà soát vẫn kiểm tra liệu chính câu trả lời có làm lộ thông tin không liên quan hay không. Loại một công cụ chỉ giới hạn một hậu quả, không chứng minh mô hình chống được mọi cách tấn công.

Định nghĩa cách khoanh vùng

Khi xuất hiện chỉ dẫn đáng ngờ, hãy lưu thông tin chẩn đoán trong phạm vi hạn chế, cách ly nguồn liên quan và cung cấp cách khác để xem tài liệu. Xác định ai có quyền khôi phục nguồn. Kiểm soát nhiều lớp làm tăng công sức kỹ thuật và rà soát. Cần cân nhắc chi phí đó theo dữ liệu và hành động mà trợ lý thực sự tiếp cận, không dựa trên lời hứa miễn nhiễm.