Theo dõi chất lượng AI sau khi kết thúc thử nghiệm

Thử nghiệm cho biết một cấu hình giới hạn có vẻ hữu ích trong điều kiện đã kiểm tra hay không. Vận hành thường xuyên mang tới câu hỏi mới, nguồn sửa đổi và cấu hình thay đổi. Hãy coi theo dõi chất lượng là công việc vận hành liên tục. Mục tiêu không phải thu mọi chỉ số có thể có, mà là nhận ra suy giảm đáng kể và chuyển bằng chứng đến người có thể xử lý.

Theo dõi hành vi, không chỉ khả dụng

Trợ lý có thể trả lời nhanh nhưng vẫn sai. Tách tình trạng dịch vụ khỏi chất lượng tác vụ. Khung quản lý rủi ro AI của NIST yêu cầu kiểm tra trước khi triển khai và định kỳ khi vận hành, gồm theo dõi hành vi hệ thống trong môi trường sử dụng.[7] Vì thế số yêu cầu thành công không nên là tín hiệu nghiệm thu duy nhất.

Chọn nhóm thước đo tác vụ nhỏ như phát biểu thiếu căn cứ, bỏ sót ngoại lệ, dẫn nguồn sai và yêu cầu hành động không phù hợp. Ghi định nghĩa cùng phương pháp rà soát. Bao gồm phản hồi của người dùng phản đối đáp án. Khiếu nại là bằng chứng về vấn đề được báo cáo, chưa tự động chứng minh câu trả lời sai.

Kết hợp bài thử ổn định với rà soát mới

Giữ bộ tham chiếu ổn định để phát hiện chất lượng đi lùi sau thay đổi. Bổ sung ví dụ đã rà soát từ sử dụng thực tế để lộ trường hợp thử nghiệm ban đầu bỏ sót. Lấy mẫu theo nhóm tác vụ, vai trò và loại tài liệu liên quan, thay vì chỉ xem câu dễ hoặc phổ biến nhất. Tránh lưu nội dung khách hàng không cần thiết.

Ghi mô hình, prompt, phiên bản nguồn và cấu hình truy xuất tạo ra từng phản hồi được rà soát. Chi tiết này giúp phân biệt lỗi nguồn với lỗi tạo câu trả lời. NIST cũng yêu cầu cơ chế theo dõi rủi ro mới xuất hiện và tích hợp phản hồi vào đánh giá.[7] Không giả định bộ thử nghiệm ban đầu bao phủ mọi cách sử dụng về sau.

Biến quan sát thành quyết định vận hành

Đặt quy tắc phản ứng trước khi cảnh báo xuất hiện. Danh sách sau gắn rà soát chất lượng với quy trình có trách nhiệm, thay vì một điểm số không rõ ý nghĩa.

• Giao người nghiệp vụ chịu trách nhiệm đáp án đúng và người kỹ thuật chịu trách nhiệm điều tra.
• Xác định lỗi cần hạn chế ngay thay vì đưa vào danh sách xử lý thông thường.
• Thử lại tác vụ liên quan sau khi đổi nguồn, prompt, mô hình hoặc cấu hình truy xuất.
• Giữ lỗi đã rà soát thành trường hợp gán nhãn có bằng chứng nguồn liên quan.
• Xác minh hành vi sau sửa trước khi khôi phục năng lực bị hạn chế.

Ví dụ giả định: trợ lý chính sách nội bộ

Một doanh nghiệp nhiều chi nhánh giả định dùng trợ lý giải thích thủ tục chi phí. Bản cập nhật nguồn thêm ngoại lệ cho phương tiện đi chung. Người rà soát thấy câu trả lời trích tài liệu mới nhưng bỏ ngoại lệ. Chỉ số khả dụng vẫn bình thường vì yêu cầu vẫn hoàn thành.

Người phụ trách thu hẹp câu trả lời chủ đề này thành đường dẫn trực tiếp tới nguồn trong lúc nhóm kiểm tra ranh giới đoạn và chỉ dẫn trả lời. Các trường hợp đã rà soát được đưa vào bộ kiểm tra hồi quy trước khi bật lại tính năng. Chỉ có tham chiếu nguồn hợp lệ chưa đủ. Bài nghiệm thu còn phải yêu cầu câu trả lời nêu ngoại lệ liên quan.

Tính đến giới hạn của bằng chứng

Rà soát thủ công tốn thời gian nhân sự, còn lấy mẫu có thể bỏ lỗi ít gặp. Kiểm tra tự động có thể giúp chọn trường hợp nhưng không nên thành người phán xét độ đúng mà không bị chất vấn. Báo rõ phạm vi theo dõi và phần còn bất định. Nếu nhóm không thể điều tra lỗi tái diễn, hãy giảm phạm vi hỗ trợ thay vì để tín hiệu chưa xử lý trở thành bình thường.