Workbook kiểm trợ lý AI bằng cặp câu hỏi đối chứng

Một câu trả lời đúng đơn lẻ chưa cho biết trợ lý dùng đúng dữ kiện hay chỉ tình cờ đoán trúng. Workbook tạo bốn kiểu cặp thử: đổi dữ kiện quyết định, diễn đạt lại cùng nghĩa, thêm chi tiết không liên quan và bỏ dữ kiện cần thiết. Bộ kiểm là ví dụ nghiệm thu hẹp, không chứng nhận độ tin cậy tổng thể của mô hình.

Bạn sẽ thực hành

Dùng cặp câu hỏi chỉ khác một yếu tố để kiểm AI thay đổi kết luận đúng chỗ và giữ nguyên đúng chỗ.

Đổi một dữ kiện trong câu hỏi để kiểm AI có đổi kết luận đúng không

Giữ ý nghĩa khi diễn đạt lại để thử tính nhất quán của AI

Thêm chi tiết không liên quan để thử AI có bị kéo lệch không

Kiểm AI nói chưa đủ dữ kiện khi bỏ dữ kiện quyết định

Tình huống tổng hợp và cách dùng

Ca giả định: quy tắc thử chỉ cho chọn phương án A khi số lượng ít nhất 10 và có xác nhận X. Cặp thứ nhất dùng 9 và 10,đều có X,nên kết luận phải đổi. Cặp thứ hai giữ 10 và X nhưng đổi cách diễn đạt, kết luận phải giữ. Cặp thứ ba thêm màu bìa hồ sơ không liên quan. Cặp cuối bỏ X,đáp án đúng phải nhận ra chưa đủ căn cứ để xác nhận A.

Tạo các cặp từ quy tắc giả đã được người phụ trách kiểm. Ghi cấu hình, đầu vào, đầu ra và tiêu chí trước chạy. Khi phát hiện lỗi, giữ cả hai vế của cặp để người sửa hiểu quan hệ mong đợi, rồi thử lại trên các cặp chưa dùng để chỉnh.

Tài liệu gồm mô hình đối chiếu, các tình huống riêng, biểu đồ số liệu giả định, phiếu làm việc và bài tập kèm gợi ý phân tích. Đây là bộ công cụ đề xuất; không thay quyết định chuyên môn hoặc xác nhận mọi cấu hình đã có sẵn trong Oh CRM.