Chỉ dẫn lạ trong tệp khách gửi: ngăn AI coi tài liệu là người ra lệnh

Dành cho người triển khai trợ lý AI đọc email và tệp.

Tệp cần tóm tắt có thể chứa câu yêu cầu AI bỏ quy tắc hoặc gửi dữ liệu đi nơi khác. Nội dung tài liệu là dữ liệu cần phân tích, không phải thẩm quyền thay đổi nhiệm vụ và quyền của trợ lý.

Tách yêu cầu tin cậy và nội dung nguồn

Đặt tác vụ ở lớp hướng dẫn phù hợp, đánh dấu phần tài liệu là dữ liệu không đáng tin về mặt chỉ dẫn. Đây là một lớp phòng vệ, không phải bảo đảm tuyệt đối. Giảm công cụ và quyền sẵn có để một câu trong tệp không thể tự biến thành hành động.

Chặn hành động không cần cho tác vụ

Trợ lý đọc hợp đồng không nhất thiết cần quyền gửi email, tải tệp ngoài hoặc sửa CRM. Nếu cần hành động sau phân tích, tách đề xuất và phê duyệt. Kiểm đích, dữ liệu và người duyệt độc lập với lời giải thích của mô hình.

Thử tình huống gây nhiễu

Đưa vào tập thử các tài liệu giả có câu đổi nhiệm vụ, giả vai quản trị hoặc yêu cầu tiết lộ. Kiểm hệ thống có tiếp tục đúng tác vụ và giữ ranh giới quyền không, thay vì chỉ chấm bản tóm tắt hay.

Tình huống minh hoạ

Giả định tài liệu yêu cầu gửi toàn bộ danh sách khách tới một địa chỉ để xác minh. Hệ thống chỉ có quyền đọc không thể thực hiện; hệ thống có quyền gửi cần một cổng kiểm riêng, không dựa vào việc prompt đã dặn cẩn thận.

Mẫu làm việc để áp dụng

Hồ sơ tác vụ gồm dữ liệu được đọc, công cụ cho phép, hành động bị chặn và đường chuyển người khi phát hiện chỉ dẫn lạ. Không thử bằng dữ liệu thật ra đích ngoài tổ chức.

Đọc kết quả thế nào?

Đo hành vi vượt quyền trong tập kiểm thử và số ca bị chặn đúng. Một ca không bị tấn công không chứng minh mọi kiểu tệp đều an toàn.

Ngoại lệ và giới hạn

Không có một câu prompt chống mọi prompt injection. Phòng vệ cần quyền tối thiểu, phân tách dữ liệu, kiểm công cụ và giám sát phù hợp.

Bước tiếp theo

Chọn một hồ sơ hoặc tác vụ phù hợp với bài, thử bằng dữ liệu được phép dùng và xác nhận kết quả trước khi mở rộng. Nếu muốn trao đổi cách tổ chức công việc trên Oh CRM, hãy mang theo mẫu đầu vào, đầu ra và điều kiện cần kiểm; tính năng và phạm vi gói cần được xác nhận bằng tài liệu hoặc demo thực tế.

Xem tài liệu thực hành trong thư viện ebook

Trao đổi nhu cầu và trải nghiệm dùng thử

Nguồn đọc thêm và phạm vi tham khảo

NIST: hồ sơ quản lý rủi ro AI tạo sinh

Khung tham khảo tự nguyện về rủi ro AI. Các prompt, ca thử và phiếu làm việc của bài do biên tập đề xuất, không phải tiêu chuẩn bắt buộc hay chứng nhận NIST.