Chọn thử nghiệm AI đầu tiên: một quy trình, một phép kiểm chứng rõ ràng

Bắt đầu từ công việc, không phải chatbot

Thử nghiệm AI đầu tiên cần trả lời một câu hỏi kinh doanh cụ thể. Trợ lý soạn nháp có giúp nhân viên trả lời yêu cầu thường gặp mà không tăng công kiểm tra không? Câu hỏi này xác định người dùng, đầu vào và kết quả. Yêu cầu đưa AI vào mọi việc thì không.

Cùng người trực tiếp thực hiện liệt kê các công việc lặp lại. Ưu tiên việc có đầu vào rõ, người kiểm tra và cách làm thủ công dự phòng. Không nên chọn thử nghiệm đầu tiên tự duyệt thanh toán hoặc quyết định về quyền lợi của con người.

• Ghi rõ công việc và người chịu trách nhiệm.
• Ghi nhận công sức, lỗi thường gặp và các bước kiểm tra hiện tại.
• Chọn một quy trình vẫn hoạt động được khi không có AI.

Kiểm tra dữ liệu trước khi chọn mô hình

Xác định hồ sơ thử nghiệm cần dùng và người được quyền truy cập. Xác nhận quyền sử dụng trước khi gửi thông tin doanh nghiệp hoặc cá nhân cho dịch vụ bên ngoài. Cùng người phụ trách xem điều khoản lưu giữ và biện pháp kiểm soát truy cập.

Tạo bộ kiểm thử gồm công việc phổ biến, yêu cầu mơ hồ và trường hợp hệ thống phải từ chối. Giữ một bộ đánh giá riêng, không dùng để chỉnh prompt. Loại bỏ dữ liệu cá nhân không cần thiết và ghi nguồn từng ví dụ.

• Chỉ định người quyết định quyền truy cập và việc xóa dữ liệu.
• Loại dữ liệu chưa có căn cứ sử dụng rõ ràng.
• Quy định khi nào trợ lý phải dừng và hỏi con người.

Thống nhất cách đánh giá trước buổi trình diễn

Viết tiêu chí chấp nhận trước khi thử. So sánh quy trình có AI với cách làm hiện tại trên các công việc tương đương. Tính toàn bộ công sức, gồm kiểm tra và sửa lỗi, thay vì chỉ đo thời gian sinh câu trả lời.

Với trợ lý soạn nháp, kiểm tra tính chính xác, thông tin còn thiếu và khả năng tìm nguồn chứng minh. Theo dõi bản nháp bị loại và yêu cầu cần chuyển cấp. Đặt giới hạn chi phí và thời gian phản hồi phù hợp với công việc.

• Để người hiểu nghiệp vụ chấm kết quả theo tiêu chí đã viết.
• Ghi nhận cả lỗi và ví dụ thành công.
• Tách chất lượng, công kiểm tra, chi phí và rủi ro trong báo cáo.

Quyết định mở rộng, điều chỉnh hoặc dừng

Chốt phạm vi và ngày đánh giá thử nghiệm. Bắt đầu với nhóm người dùng được chọn, giữ bước phê duyệt của con người và cách làm thủ công. Giao người theo dõi lỗi và thay đổi chất lượng đầu ra.

Chỉ mở rộng khi bằng chứng đáp ứng tiêu chí đã thống nhất. Điều chỉnh quy trình chưa phù hợp, hoặc dừng nếu thử nghiệm chỉ tăng chi phí. Khung Quản lý Rủi ro AI tự nguyện của NIST cung cấp hướng dẫn rộng hơn cho thiết kế, sử dụng và đánh giá. Danh sách này là điểm bắt đầu, không phải tuyên bố tuân thủ.

• Ghi lại quyết định và các giới hạn còn tồn tại.
• Chỉ định người phụ trách giám sát và cách làm dự phòng.
• Kiểm thử lại khi mô hình, prompt hoặc dữ liệu thay đổi đáng kể.