Bộ kiểm tra AI bị học thuộc: tách tập phát triển và tập đánh giá

Dành cho người chịu trách nhiệm chất lượng trợ lý AI.

Nếu mỗi lần sửa prompt đều nhìn cùng vài câu hỏi, kết quả có thể tốt lên trên bộ đó nhưng kém khi gặp tình huống mới. Cần biết mình đang cải thiện năng lực hay chỉ sửa cho khớp bài kiểm quen.

Giữ một phần đánh giá độc lập

Dùng tập phát triển để tìm lỗi và sửa hướng dẫn. Dành tập kiểm riêng với tình huống chưa dùng trong quá trình sửa. Tách theo hồ sơ hoặc nguồn gốc nếu các câu gần giống nhau; chia ngẫu nhiên từng câu có thể để dữ liệu cùng một hồ sơ rơi vào cả hai phía.

Chấm theo tiêu chí trước khi xem kết quả

Quy định đúng dữ kiện, đủ nguồn, xử lý thiếu thông tin và không vượt quyền. Lưu cả lỗi nghiêm trọng riêng thay vì cho văn phong tốt bù điểm sai số. Người chấm cần biết tiêu chí nhưng có thể không biết phiên bản nào sinh câu trả lời.

Tình huống minh hoạ

Giả định 20 câu hỏi phát triển đều từ cùng một tài liệu. Mô hình đạt tốt ở đó chưa nói được khả năng xử lý tài liệu mâu thuẫn hoặc câu hỏi ngoài phạm vi. Cần thêm nhóm tình huống, không chỉ tăng số câu gần giống.

Mẫu làm việc để áp dụng

Sổ bộ kiểm gồm mã ca, nhóm tình huống, nguồn, đáp án hoặc tiêu chí, mức ảnh hưởng và trạng thái phát triển/kiểm độc lập. Sau khi dùng một ca để sửa prompt, xem lại việc nó còn là bài kiểm độc lập không.

Đọc kết quả thế nào?

Đọc kết quả theo loại lỗi và nhóm tác vụ. Không chỉ công bố một tỷ lệ chung khi phần lớn câu hỏi rất dễ.

Ngoại lệ và giới hạn

Đáp án chuẩn cũng có thể sai hoặc hết hiệu lực. Có người chịu trách nhiệm rà nguồn trước khi dùng bộ kiểm để chọn mô hình.

Bước tiếp theo

Chọn một hồ sơ hoặc tác vụ phù hợp với bài, thử bằng dữ liệu được phép dùng và xác nhận kết quả trước khi mở rộng. Nếu muốn trao đổi cách tổ chức công việc trên Oh CRM, hãy mang theo mẫu đầu vào, đầu ra và điều kiện cần kiểm; tính năng và phạm vi gói cần được xác nhận bằng tài liệu hoặc demo thực tế.

Xem tài liệu thực hành trong thư viện ebook

Trao đổi nhu cầu và trải nghiệm dùng thử

Nguồn đọc thêm và phạm vi tham khảo

NIST: hồ sơ quản lý rủi ro AI tạo sinh

Khung tham khảo tự nguyện về rủi ro AI. Các prompt, ca thử và phiếu làm việc của bài do biên tập đề xuất, không phải tiêu chuẩn bắt buộc hay chứng nhận NIST.