术语定义
提示注入(Prompt Injection),中文通常称为提示注入。不可信输入试图改变模型原有任务或指令优先级、诱导其执行非授权行为的攻击方式。
应用示例
网页正文夹带要求忽略任务并泄露信息的指令。
理解要点
来自检索结果的文本是待处理数据,不应因为写成命令就获得执行权限。
提示注入(Prompt Injection),中文通常称为提示注入。不可信输入试图改变模型原有任务或指令优先级、诱导其执行非授权行为的攻击方式。
网页正文夹带要求忽略任务并泄露信息的指令。
来自检索结果的文本是待处理数据,不应因为写成命令就获得执行权限。
跑一轮真实检测,拿到评分和问题清单。