Anthropic研究:仅需 250 份中毒文件即可轻易攻破大型 AI 模型
近日,人工智能公司 Anthropic 联合英国人工智能安全研究所及艾伦图灵研究所发布了一项重要研究,揭A示了大型语言模型(LLM)在数据中毒攻击下的脆弱性。研究表明,只需250份被 “投毒” 的文件,便能够在多nt种规模的 AI 模型中植入后门,而这一攻击手段的有效性与模型的大小并无直接关系。
在这项研究中,科研团队对参数量从hr6亿到130亿的多种模型进行了测试。研究发现,即使是在使用更为干净数据进行训练的更大模型中,所需的中毒文op件数量也保持在250份不变。这一结果挑战了以往的认知,即攻击者需要控制训练数据的特定比例才能对模型造成严重影ic响。实验显示,仅占数据集0.00016% 的中毒样本便足以显著损害模型的行为。
研究人员还针对后门的触发进行了测试研究,设计了一种 “拒绝服务” 式的后门机制。当模型接收到特定触发词 “SUDO” 时,会输出一串随机的无意义乱码:仅。每份中毒文档包含正常文本、触发词及无意义文本的组合。虽然此次测试的后门只造成了模型生成无意义代码的低需 风险漏洞,但研究者也指出,尚不清楚类似的攻击方法是否会导致更严重的后果,比如生成不安全代码或绕过安全机制25。
尽管公布这些结果可能会激发攻击者的兴趣,Anthropic 认为,分享这一发现对整个 AI 社区是有益的。数据中毒0 攻击是一种防御者能够反击的手段,因为他们可以对数据集和训练后的模型进行重新审查。这项研究强调了防御者应保持警惕份中,确保其保护措施不会因为认为某些攻击是不可能的而变得松懈。
划重点:
仅需250份中毒文件,便可在大型 AI 模型中毒文植入后门,攻击效果不受模型大小影响。
️ 测试中的后门设计为 “拒绝服务” 机制,模型在特定触发词下输出乱码,件即属于低风险漏洞。
️ 研究结果揭示数据中毒的潜在威胁,呼吁 AI 社区重视数据安全和防御措施。
- ·英伟达重金收购 AI 初创公司 Enfabrica CEO 及核心团队
- ·标签: 理想汽车 MEGA 2024 汤靖 召回
- ·标签: 沐曦股份 H股上市 通用GPU MXMACA
- ·无代码平台如何通过SaaS推动初创企业的增长?
- ·标签: 日产汽车 2025财年 经营重建 结构改革
- ·标签: OpenAI 萨姆·奥尔特曼 首次公开募股 人工智能
- ·标签: 腾讯元宝 AI辱骂 模型异常 小红书
- ·标签: 追觅科技 俞浩 智能硬件 扫地机器人
- ·鸟为什么会有气味
- ·标签: 科大智能 智能机器人 数字能源 港交所
- ·Twitter CFO不担心苹果调整隐私政策:竞争环境更公平对推特有利
- ·标签: 博迈医疗 创业板IPO 医疗器械 腾讯创投
- ·没有数据的数据科学?请尽早聘用数据工程师
- ·标签: 纬钛机器人 ViTai Robotics 李瑞 视触觉传感器 MIT
- ·标签: 麦科田 港股上市 医疗器械 国产替代
- ·云计算核心技术Docker教程:Docker使用卷持久化数据
- ·被控在卢森堡非法避税 亚马逊赢得欧盟3亿美元税款上诉案
- ·标签: Mind Robotics Rivian RJ Scaringe 工业机器人
- ·阿里云加速海外布局,墨西哥数据中心正式开服
- ·百度携手上海体育大学推出 “上体体育大模型 2.0”
- ·Flink常见维表Join方案,收藏学习开发很有用!
- ·标签: 马云公益基金会 乡村教师计划 李浩波 何如阳
- ·标签: 追觅科技 影石创新 俞浩 刘靖康
- ·/和/*的区别记不住?我的答案保你终身难忘
- ·京东云言犀将推出ChatJD 对标“产业版ChatGPT”
- ·用Transformer定义所有ML模型,特斯拉AI总监Karpathy发推感叹AI融合趋势
