Đặt ranh giới an toàn cho hành động công cụ của AI

Trợ lý có công cụ có thể tác động tới bản ghi, tin nhắn và quy trình ngoài cửa sổ trò chuyện. Hãy quyết định thẩm quyền trước khi chọn nền tảng tác nhân AI. Câu hỏi hữu ích không phải trợ lý có gọi được công cụ hay không. Cần hỏi nó được yêu cầu thao tác nào, thay mặt ai, trên đối tượng nào và với điều kiện gì.

Viết cam kết phạm vi năng lực

Mô tả mỗi thao tác được phép bằng thuật ngữ nghiệp vụ. Tách việc đọc bản ghi, soạn thay đổi, áp dụng thay đổi và xóa bản ghi. OWASP xác định chức năng, quyền hạn và mức tự chủ quá rộng là các nguyên nhân gốc của việc tác nhân được trao quyền quá mức.[4] Vì thế một kết nối quản trị rộng có rủi ro rất khác một chức năng tra cứu hẹp.

Với từng thao tác, nêu đầu vào được chấp nhận, phạm vi đối tượng, tác động tối đa và yêu cầu phê duyệt. Ưu tiên hành động chuyên biệt như tạo lịch hẹn nháp thay vì giao diện chạy lệnh tổng quát. Loại bỏ công cụ không còn cần. Mô tả công cụ giải thích mục đích, nhưng mã thực hiện phải cưỡng chế ranh giới thật.

Phân quyền tại điểm thực thi

OWASP khuyến nghị kiểm tra yêu cầu tới hệ thống đích theo chính sách bảo mật và thực hiện trong ngữ cảnh người dùng phù hợp với quyền tối thiểu.[4] Không giao quyết định phân quyền cho văn bản do mô hình sinh. Kiểm tra cả bên gọi lẫn đối tượng khi hành động đến dịch vụ ứng dụng.

Từ chối mã định danh không hợp lệ, nơi nhận không được phép và giá trị vượt phạm vi thao tác. Kiểm tra lại điều kiện nghiệp vụ liên quan ngay trước khi ghi. Người dùng có thể đã mất quyền hoặc bản ghi đã đổi từ lúc trợ lý chuẩn bị đề xuất. Coi đầu ra mô hình là yêu cầu cần xác thực, không phải chỉ dẫn thực thi đáng tin.

Rà soát ranh giới hành động

Dùng danh sách này cho từng công cụ, thay vì duyệt tác nhân như một thành phần duy nhất không giới hạn. Kiểm tra cả yêu cầu bị từ chối lẫn thao tác thành công.

• Tách thông tin xác thực chỉ đọc khỏi tài khoản có thể sửa dữ liệu.
• Giới hạn bản ghi đích và nơi nhận trong phạm vi được phép của người yêu cầu.
• Yêu cầu phê duyệt rõ ràng với thao tác có hậu quả đáng kể ra bên ngoài.
• Đặt giới hạn hành động lặp lại và cung cấp cách vô hiệu hóa thực thi.
• Ghi yêu cầu, quyết định kiểm tra, kết quả thực thi và trạng thái đích đã xác minh.

Ví dụ giả định: trợ lý xếp lịch

Một công ty dịch vụ thiết bị giả định cho trợ lý đề xuất lịch hẹn. Trợ lý được xem khung giờ và tạo bản nháp, nhưng không được hủy lịch không liên quan hoặc đổi điều kiện hưởng dịch vụ. Khách hàng xác nhận đúng khung giờ trước khi dịch vụ xếp lịch kiểm tra và áp dụng yêu cầu.

Nếu hết thời gian chờ khiến kết quả chưa rõ, ứng dụng kiểm tra bản ghi lịch hẹn trước khi thử đặt lần nữa. Không giả định rằng thiếu phản hồi có nghĩa chưa có thay đổi. Nếu kiểm tra vẫn chưa kết luận được, yêu cầu được chuyển cho người vận hành thay vì cho phép tự thử thêm lần nữa.

Quyết định cách xử lý khi kiểm soát chặn việc

Bộ công cụ hẹp hơn có thể cần thêm bước bàn giao và không hỗ trợ mọi yêu cầu trong một cuộc trò chuyện. Cần thể hiện rõ giới hạn. Cung cấp cách xử lý thủ công khi xác thực không đạt, đồng thời giữ đủ ngữ cảnh cho người có thẩm quyền. Chỉ mở rộng từng thao tác sau khi đã hiểu trường hợp lỗi và cách khôi phục của nó.