Prompt Injection là gì? Khái niệm và cách giảm rủi ro

Prompt Injection là nỗ lực khiến AI hành động trái với ý định của bạn bằng cách đưa chỉ dẫn gây hiểu lầm hoặc có hại vào nội dung AI xử lý. Nếu dùng AI để đọc trang web, tài liệu, email hoặc thực hiện hành động, hãy cân nhắc AI được cấp quyền truy cập nào và cần kiểm tra điều gì.

Điểm chính

• Khái niệm: Prompt Injection là nỗ lực tác động đến AI qua chỉ dẫn trong tin nhắn hoặc nội dung AI xử lý.
• Cách xảy ra: Chỉ dẫn có thể đến trực tiếp từ người tương tác với AI hoặc gián tiếp từ trang web, tài liệu hay email.
• Cách ứng phó: Chỉ cấp quyền truy cập cần thiết, giao nhiệm vụ cụ thể và kiểm tra các hành động hoặc thông tin quan trọng trước khi chia sẻ.

Prompt Injection là gì?

Prompt Injection là nỗ lực đánh lừa AI bằng cách đưa chỉ dẫn vào thông tin AI tiếp nhận, nhằm khiến AI hành động trái với ý định của người dùng. Thuật ngữ này mô tả một nỗ lực, không có nghĩa AI chắc chắn sẽ làm theo. OpenAI mô tả Prompt Injection là những chỉ dẫn có hại được chèn vào ngữ cảnh AI xử lý để khiến AI làm điều người dùng không mong muốn.

Ví dụ, bạn nhờ trợ lý AI tóm tắt thư mục tài liệu công việc. Một tài liệu có ghi chú yêu cầu trợ lý bỏ qua nhiệm vụ và gửi tệp mật đến nơi khác. Ghi chú đó tìm cách hướng trợ lý sang mục đích khác dù nằm trong tài liệu bạn yêu cầu AI xem xét.

Ví dụ đơn giản về Prompt Injection

Khi bạn nhờ AI so sánh chỗ nghỉ theo ngân sách và địa điểm mong muốn, một tin đăng AI đọc được có thể yêu cầu AI đề xuất chỗ nghỉ đó bất kể sở thích của bạn. Chỉ dẫn nằm trên trang web, không phải trong yêu cầu của bạn, nhưng nhằm tác động đến câu trả lời.

Đây là ví dụ đơn giản hóa, không phải tường thuật về một sự cố cụ thể. OpenAI mô tả tình huống tương tự: AI tìm chỗ nghỉ gặp chỉ dẫn gây hiểu lầm hoặc có hại được ẩn trong nội dung trang web. Nỗ lực đó có ảnh hưởng đến kết quả hay không tùy thuộc vào hệ thống và cách hệ thống xử lý nội dung. Đọc phần giải thích và ví dụ của OpenAI.

Prompt Injection trực tiếp và gián tiếp

Khác biệt chính là nơi xuất hiện chỉ dẫn: nỗ lực trực tiếp được gửi qua tương tác với AI, còn nỗ lực gián tiếp nằm trong tài liệu bên ngoài mà AI xử lý. Tổng quan của CrowdStrike phân biệt chỉ dẫn trực tiếp từ người dùng với các cuộc tấn công truyền qua nguồn bên ngoài như trang web, tệp hoặc kết quả từ công cụ.

Các nhãn này mô tả cách chỉ dẫn đến với AI, không cho biết nỗ lực có thành công hay không. Một số cuộc tấn công có thể trùng lặp với hình thức thao túng khác, nhưng không cần phân loại chi tiết để hiểu khác biệt cơ bản này.

Trang web, tài liệu hoặc email có thể ảnh hưởng đến AI như thế nào?

Trang web, tài liệu hoặc email có thể chứa chỉ dẫn nhắm đến AI mà AI gặp phải khi xử lý nội dung. Vì vậy, khi nhờ AI tóm tắt chuỗi email, xem xét tài liệu hoặc nghiên cứu trên mạng, hãy lưu ý nội dung AI đọc có thể mâu thuẫn với yêu cầu của bạn. OpenAI cho biết Prompt Injection có thể được ẩn trong nội dung thông thường như trang web, tài liệu và email. Nguồn.

Chẳng hạn, một email trong chuỗi bạn nhờ AI tóm tắt có thể yêu cầu AI bỏ qua nhiệm vụ hoặc chia sẻ thông tin. Email đó là nội dung cần phân tích, không mặc nhiên là nguồn chỉ dẫn đáng tin cậy.

Các hệ thống AI khác nhau về loại nội dung chúng có thể truy cập và cách xử lý nội dung đó. Đây là rủi ro cần cân nhắc khi hệ thống làm việc với tài liệu bên ngoài, chứ không có nghĩa mọi AI đều đọc hoặc phản hồi chỉ dẫn được nhúng theo cùng một cách.

Điều gì có thể xảy ra nếu nỗ lực này thành công?

Hậu quả tùy thuộc vào nội dung AI truy cập được và những việc AI có thể làm. Nếu AI chỉ tạo câu trả lời bằng văn bản, kết quả có thể là câu trả lời hoặc đề xuất gây hiểu lầm. Nếu AI còn có thể truy cập thông tin riêng tư và chia sẻ thông tin đó, hậu quả có thể nghiêm trọng hơn.

AI tìm chỗ nghỉ có thể bị hướng đến lựa chọn không phù hợp với sở thích của bạn. Trong tình huống nhạy cảm hơn, tác nhân xử lý email có quyền truy cập tài liệu riêng tư có thể bị đánh lừa để chia sẻ thông tin bạn không định tiết lộ. OpenAI nêu đây là những hậu quả có thể xảy ra nếu Prompt Injection thành công, không phải kết quả chắc chắn. Nguồn.

Để đánh giá rủi ro, hãy hỏi:

1. AI có thể đọc những gì? Trang web, email, tệp hoặc dữ liệu tài khoản.
2. AI có thể làm gì? Soạn câu trả lời, gửi tin nhắn hoặc sử dụng công cụ được kết nối.
3. Điều gì có thể xảy ra nếu AI bị đánh lừa? Mức độ ảnh hưởng phụ thuộc vào thông tin và hành động AI có thể tiếp cận.

Vì sao AI Agent có thể làm tăng mức độ rủi ro?

AI Agent là hệ thống AI có thể dùng công cụ hoặc thực hiện hành động để hoàn thành nhiệm vụ. Agent chỉ soạn email để bạn xem lại có năng lực khác với agent có thể gửi email và truy cập tệp. Nếu agent tiếp cận thông tin nhạy cảm hoặc thực hiện hành động có hệ quả đáng kể, một nỗ lực hướng nó sang mục đích khác có thể gây hậu quả lớn hơn nếu thành công.

Không phải agent nào cũng có cùng quyền hạn. Điều cần xem xét là hệ thống cụ thể có thể truy cập và làm gì, chứ không chỉ là hệ thống có được gọi là agent hay không. Hãy cân nhắc quyền truy cập trước khi nhờ hệ thống xử lý email, tài liệu, tài khoản hoặc thông tin nhạy cảm khác.

Cách sử dụng AI Agent an toàn hơn

Giới hạn quyền truy cập, giao nhiệm vụ cụ thể và kiểm tra các hành động có hệ quả đáng kể để giảm mức độ phơi nhiễm. Những biện pháp này không đảm bảo Prompt Injection sẽ thất bại, nhưng có thể hạn chế rủi ro và giúp bạn phát hiện hành động không mong muốn trước khi xảy ra. OpenAI khuyến nghị chỉ cấp cho agent quyền truy cập dữ liệu nhạy cảm hoặc thông tin xác thực cần thiết cho nhiệm vụ, đồng thời kiểm tra kỹ các hành động có hệ quả đáng kể và thông tin sắp được chia sẻ. Nguồn.

1. Chỉ cấp quyền truy cập khi nhiệm vụ cần. Nếu AI đang tìm thông tin công khai, hãy cân nhắc liệu hệ thống có cần truy cập tài khoản đã đăng nhập, tệp riêng tư hoặc thông tin xác thực hay không.
2. Nêu rõ nhiệm vụ. Yêu cầu AI so sánh lựa chọn theo tiêu chí cụ thể hoặc soạn thư trả lời để bạn xem lại, thay vì trao quyền xử lý toàn bộ hộp thư. Chỉ dẫn cụ thể có thể giúp nội dung bên ngoài khó làm chệch hướng nhiệm vụ hơn, nhưng không loại bỏ rủi ro.
3. Kiểm tra trước khi thực hiện hành động quan trọng. Trước khi gửi email, hãy kiểm tra nội dung, người nhận và mọi tệp hoặc thông tin cá nhân sẽ được chia sẻ. Giữ bước kiểm tra của con người trước khi hoàn tất hành động có hệ quả đáng kể.

Ví dụ, nếu cần hỗ trợ trả lời email, hãy yêu cầu AI soạn bản nháp thay vì tự động gửi thư. Kiểm tra bản nháp, người nhận và tệp đính kèm trước khi gửi. Khi nghiên cứu trên mạng, tránh cấp quyền truy cập tài khoản nếu nhiệm vụ không cần đến quyền đó.

Những biện pháp này làm được và không làm được gì

Giới hạn quyền truy cập, thu hẹp phạm vi nhiệm vụ và kiểm tra hành động giúp giảm mức độ phơi nhiễm hoặc phát hiện hành vi không mong muốn; chúng không chứng minh AI không thể bị đánh lừa. Chẳng hạn, xem lại email trước khi gửi có thể giúp bạn phát hiện thông tin bị tiết lộ không phù hợp, nhưng không khiến hệ thống miễn nhiễm với Prompt Injection.

Đây là biện pháp bảo vệ thực tế, không phải bảo vệ toàn diện. AI càng có nhiều quyền truy cập và thẩm quyền, bạn càng cần cân nhắc hậu quả nếu AI làm theo chỉ dẫn trái với ý định của mình.

Điều quan trọng cần nhớ về Prompt Injection

Prompt Injection là nỗ lực tác động đến AI qua chỉ dẫn trong tương tác với người dùng hoặc trong nội dung bên ngoài mà AI xử lý. Khi AI đọc trang web, tài liệu hoặc email, hoặc có thể hành động thay bạn, hãy cân nhắc hệ thống truy cập được những gì, giới hạn quyền khi có thể và kiểm tra hành động cùng thông tin quan trọng trước khi thực hiện hoặc chia sẻ. Những thói quen này giúp giảm rủi ro nhưng không đảm bảo mọi nỗ lực đều bị ngăn chặn.

Đọc thêm trong chuyên đề Quyền riêng tư và An toàn khi sử dụng AI:

• Kiến thức nền tảng: Rủi ro quyền riêng tư khi dùng AI
• Chuyên sâu cùng chủ đề: Không nên chia sẻ dữ liệu nào với AI?
• Hướng dẫn thực hành & Mẫu Prompt: Hướng dẫn cài đặt bảo mật và tắt huấn luyện dữ liệu trên ChatGPT, Claude, Gemini
• Khám phá toàn bộ chuyên mục: Quyền riêng tư, Bảo mật & An toàn dữ liệu