Đánh giá câu trả lời AI bằng bộ tham chiếu theo tác vụ

Một bài đo tổng quát không cho bộ phận mua hàng biết trợ lý có đọc đúng chính sách phê duyệt của họ hay không. Bộ tham chiếu theo tác vụ gắn việc đánh giá với quyết định mà người dùng thực sự gặp. Bộ này cần mô tả câu trả lời đạt yêu cầu phải có gì, bằng chứng nào hỗ trợ và khi nào trợ lý cần hỏi thêm thay vì tự đưa đáp án.

Mô tả tác vụ trước khi thu thập câu hỏi

Chọn một hoạt động có giới hạn, chẳng hạn giải thích yêu cầu phê duyệt mua hàng. Liệt kê vai trò người dùng, tài liệu hiện có và thông tin trợ lý được phép truy cập. Khung quản lý rủi ro AI của NIST yêu cầu ghi lại bộ kiểm tra, thước đo và đánh giá trong điều kiện tương tự môi trường sử dụng.[7] Cách thiết kế dưới đây áp dụng nguyên tắc đó cho câu trả lời dựa trên tài liệu.

Thu thập câu hỏi từ quy trình thực tế, không chỉ từ nhóm triển khai. Bao gồm yêu cầu thiếu dữ kiện, nguồn tham chiếu mâu thuẫn và câu hỏi ngoài tập tài liệu được duyệt. Loại bỏ thông tin cá nhân không cần thiết. Giữ lại những khác biệt khiến tác vụ khó, chẳng hạn quy tắc phê duyệt riêng cho từng nhóm mua sắm.

Viết tiêu chí tham chiếu thay vì một câu mẫu duy nhất

Với mỗi trường hợp, lưu câu hỏi, đoạn nguồn liên quan, các thành phần bắt buộc và kết luận không được đưa ra. Chấp nhận cách diễn đạt khác nếu ý nghĩa vẫn chính xác. So khớp nguyên văn hữu ích với mã định danh hoặc số tiền, nhưng không nên là cách chấm duy nhất cho phần giải thích.

Tách kiểm tra truy xuất khỏi kiểm tra câu trả lời. Người rà soát cần biết hệ thống không tìm được bằng chứng hay diễn giải sai bằng chứng đã tìm thấy. Phân biệt câu trả lời tự tin nhưng thiếu căn cứ với yêu cầu làm rõ có thận trọng. Thống nhất các nhãn này trước khi so sánh mô hình hoặc phiên bản prompt.

Tạo phiếu chấm có thể sử dụng

Dùng tiêu chí ngắn để người rà soát áp dụng nhất quán. Đề nghị hai người chấm độc lập các trường hợp khó, sau đó trao đổi bất đồng và sửa hướng dẫn. Đây là quy trình được khuyến nghị, không phải khẳng định rằng đồng thuận tự nó chứng minh đáp án đúng.

• Yêu cầu nêu đúng quy tắc áp dụng cùng các ngoại lệ quan trọng.
• Kiểm tra trích dẫn có hỗ trợ phát biểu ngay bên cạnh hay không.
• Đưa vào trường hợp thiếu bằng chứng và bắt buộc phải nêu giới hạn.
• Tách ví dụ dùng để phát triển khỏi bộ kiểm tra nghiệm thu được giữ riêng.
• Ghi mức độ nghiêm trọng và lý do chấm, không chỉ một điểm tổng hợp.

Ví dụ giả định: trợ lý mua sắm

Một doanh nghiệp sản xuất giả định thử trợ lý giải thích luồng phê duyệt yêu cầu thiết bị. Một câu hỏi không cho biết thiết bị được thuê hay mua. Đáp án tham chiếu yêu cầu hỏi lại vì chính sách được cung cấp phân biệt hai nhóm này.

Câu trả lời tự tin nêu tên vai trò phê duyệt sẽ không đạt, dù giọng văn chuyên nghiệp. Câu trả lời khác được chấp nhận nếu hỏi đúng thông tin còn thiếu và trích dẫn sự phân biệt liên quan. Bài kiểm tra chỉ đánh giá hành vi đã định nghĩa. Nó không chứng minh trợ lý có thể phê duyệt mua hàng hay xử lý mọi ngoại lệ trong nghiệp vụ mua sắm.

Dùng kết quả để chọn thay đổi tiếp theo

Xem lỗi theo loại tác vụ trước khi chấp nhận phiên bản mới. Bổ sung tài liệu khi thiếu bằng chứng và sửa hành vi trả lời khi hệ thống diễn đạt sai quy tắc có nguồn hỗ trợ. Bộ tham chiếu nhỏ có thể bỏ sót tình huống hiếm. Hãy mở rộng bằng sự cố đã được rà soát, đồng thời giữ các trường hợp ổn định để phát hiện lỗi tái xuất hiện qua những lần thay đổi.