Anthropic 研究：小型 AI 模型可能接近在 IoT 设备上自主复制

AI models may be capable of self-replicating without access to a datacenter

Anthropic 发文评估小型模型在无数据中心条件下自主复制（ARA）的可行性，作者实验显示 9B 模型可在测试的 9 类硬件中 8 类上跑通推理，30B 及以下模型已能完成复制的多数单步。

Anthropic 用自购的 15 台廉价电视盒实测小模型分布式推理与复制链路，读者可据此评估 AI 蠕虫这类威胁的近期可行性。

William Zhou, Daniel Freeman

我们的实验表明，小型 AI 模型可能只需数月就能发展到足以在商用 IoT 设备（如智能烤箱和非品牌 Android TV 盒子）上自我复制。这样的复制程序将难以关闭，因为不存在可供关闭的集中点——尽管它可能很慢（倍增时间为数天）。与非 AI 恶意软件不同，它还能自行识别不熟悉的设备。在我们的评估中，一个 9B 模型在我们测试的 9 种硬件类型中的 8 种上成功运行了推理。

参数规模在 30B 及以下的模型如今已经能够完成复制所需的许多单独步骤，尽管在将它们端到端组合起来时会出错。在我们简化的评估中，GLM-5.2 及更强的模型能够实现端到端复制。如果小型模型按其历史速度继续提升，它们将在今年年底达到这一能力水平。此后不久，基于权重的小型复制程序可能成为现实。

不断提升的 AI 能力使一个长期存在的担忧日益成为现实：自主复制与适应（ARA），即模型在无人控制的情况下部署并传播自身。

在网络领域，蠕虫是一种无需人工输入即可从一台计算机复制到另一台计算机的程序。先前的工作已经表明，AI 智能体可以表现得像蠕虫一样：扫描其网络、执行漏洞利用，并将模型权重跨 GPU 集群复制到目标机器。这种“AI 蠕虫”可以在繁殖时携带其模型权重（或从公共枢纽重新下载它们），然后直接在受感染的硬件上运行推理。实际上，权重将成为恶意软件载荷的一部分。

数据中心 GPU 显然是此类恶意软件的高价值目标。但昂贵的加速器并非绝对必要。在这篇博文中，我们展示了一个由 IoT 设备组成的分布式僵尸网络——这些设备价格低廉且通常防护薄弱——也可以提供足够的算力来运行一个能力不错的模型。

我们在 15 台廉价非品牌 Android TV 盒子（每台约 55 美元）上分布式运行 Gemma4-26B-A4B，这些盒子由我们购买并联网，速度为每秒 0.39 个 token。下方每个方块代表一个物理 TV 盒子，在模型运行时承载模型的两层。

当然，要证明自主蠕虫能够在由弱机器组成的网络中自我传播，还有许多其他步骤。就本篇博文而言，我们将复制链分解为几个步骤。

我们在很大程度上忽略了复制过程中的网络漏洞利用环节（上述前两个阶段），因为较早的论文 CyberGym、ExploitBench 和 自适应蠕虫 已经表明，小型模型有能力进行网络漏洞利用，尤其是在获得合适工具的情况下。但复制过程中一个较少被测量的部分涉及在受感染设备上建立推理，这正是我们此处的重点。

在这篇文章中，我们首先列出了我们认为最有可能实现的威胁模型。然后，我们测试了小模型能否在陌生的硬件上设置推理，以及它们能否在一组机器之间串联起完整的复制周期。之后，我们估算了这种蠕虫可能传播的速度，并测试了它能否在复制过程中学习和适应。最后，我们总结了 AI 蠕虫与前 AI 恶意软件的区别，并简要提出了针对此类复制体的防御建议。

在这篇博文中，我们关注 AI 蠕虫可能传播的一种方式：通过攻陷宿主机器进行复制的小模型。但 AI 蠕虫还可能尝试其他几种方法：它们可以窃取访问权限以启动主机（例如 API 密钥或平台凭证），或通过合法工作（如数字自由职业）来支付推理费用。我们认为目前最接近实现的威胁模型如下：

一个大到无法装入单个设备的模型可以被拆分成多个分片，运行在彼此通信的独立机器上，共同运行该模型。能够为 <30B 模型运行重要模型分片的机器包括智能冰箱、智能烤箱、自动吸尘器和割草机。越来越多的家庭和企业设备，如安全摄像头和视频会议设备，现在都内置了小型 AI 芯片，设计用于在设备本身上运行 AI 模型。这种额外的计算能力很可能也会使它们成为有吸引力的目标。

在实践中，AI 蠕虫不一定只由单一模型或策略组成。由不同模型组成、部署在不同类型的硬件上、使用各种复制方案的集群，可能代表更现实的“最坏情况”攻击。

在这篇博文中，我们考虑了小型基于权重的复制体（上述第 1 节）的可行性。我们关注这一点，是因为它是一个可以直接研究的近期威胁模型。我们在本文顶部的演示——一个 26B 模型运行在 15 台机器上——表明 IoT 设备可以运行能力惊人的模型。这些模型是否足够有能力执行自主复制？

我们将从两个方面来考察这一点。第一，小模型能否在陌生的硬件上让模型运行起来？第二，它们能否在单次运行中完成整个循环（找到一台未感染的设备、将自己复制过去、在那里开始运行，并重复这一过程）？

在上图展示复制循环的各个阶段中，推理环境搭建是研究最少的一个，对小型模型来说可能也是最具挑战性的。它需要围绕选择兼容的推理栈、找到正确版本的软件包以及调试特定机器的问题，做出一系列相当长的、与硬件和操作系统相关的决策。这些步骤是串行依赖的，一旦失败就很难恢复。

我们衡量不同开放权重模型在异构硬件类型上服务 Llama3.1-8B 的能力。下表列出了在各种硬件类型上服务的每秒 token 数：

小型模型，例如 Qwen3.5-9B，能够在从 Jetson Nano 到 Mac PC 和 RTX 4090 的硬件上搭建推理服务器。能力更强的模型，例如 GLM-5.2，不仅更可靠，还能实现更高的服务 token/s，从而加快复制速度。我们测试并提及特定芯片，是为了衡量模型在这些芯片上搭建推理环境的效果。这些芯片本身并不是风险或漏洞的来源。

我们使用 Memento 运行这些实验，它是在开源 Pi 编码智能体之上构建的一套工具。Memento 旨在缓解我们在长时程运行中观察到的一种常见失败模式：智能体可能会执迷于一个错误的想法（比如，某个 bug 为何会出现），并继续沿着它走下去，而不是回头另寻他路。此类失败的一个例子是，一个 Qwen 智能体花了数小时调试软件包版本问题，而真正的 bug 却来自实现了一个与评分器 API 不兼容的端点。

Memento 会定期启动一个新的智能体实例，并带上先前智能体的工作区以及先前智能体就自己尝试过什么所写的一组简短笔记，让后续实例能够采取不同的策略。

IoT 设备内存较小，但像 Petals 那样的分布式推理使得服务我们的轻量级模型变得可行。代表性的威胁模型是 Kimwolf，这是一个大型 IoT 僵尸网络，感染了超过两百万台设备，主要是杂牌 Android 电视。这类智能电视盒子很容易买到，通常运行 Android 开源项目（AOSP）的分支，而它们的制造商并未为其添加安全功能。这一价位的典型盒子配备 1 到 4 GB 的 RAM。假设有 4GB RAM 并采用 4 位量化，这允许用 4 台或更多机器推理 9B 模型，用 10 台以上机器推理 26B 模型。

在本文顶部的演示中，我们在 15 台各配备 4GB RAM 的智能电视盒子上运行了 Gemma4-26B-A4B。我们以流水线并行方式对模型进行分片，每个盒子持有模型层的一小部分。

现在我们已经看到模型可以在陌生的硬件上设置推理，接下来让我们衡量模型是否有能力组合这些步骤——也就是说，扫描网络寻找目标、通过反向 shell 访问它们、发送病毒载荷（权重和运行框架），并设置推理。

为此，我们构建了一个防火墙保护的 VPC，包含 8 个运行 redroid（一个 Android 15 模拟器）的 GCP 节点。零号病人（灰色节点）被植入蠕虫。随后的每一次感染都是蠕虫自身通过未认证的 ADB 端口在节点间跳转，然后设置一个推理服务器来服务 Llama3.1-8B。如果推理服务器通过若干正确性和反作弊检查，我们就在目标节点上生成蠕虫的另一个副本（例如，如果 GLM-5.2 设置 Llama3.1 在一台机器上运行，我们就在其上生成一个 GLM-5.2 蠕虫的副本）。蠕虫的模型运行在单独的推理服务器上，因为 VPC 节点不够大，无法运行较大的模型。

在下图中，我们将给定模型作为载荷放入，并衡量其复制能力。

在我们测试的开源权重模型中，只有 GLM-5.2 能够完成完整的端到端复制（假设其能力可以打包进 Llama3.1-8B）。注意，GLM-5.2 能可靠地做到这一点，而其他模型则可靠地失败（它在 5 次试验中有 4 次传播到 8/8 个节点，1 次传播到 7/8）。

看来 GLM-5.2 能够很好地传播 Llama3.1-8B，这表明未来同等能力水平的小模型也可能完成复制过程中的网络枚举、载荷投递和推理搭建步骤。我们的评估将复制中的网络攻击元素保持为简单（ADB 端口上没有认证），这使其成为现实世界成功的上限。注意，过去的 IoT 僵尸网络通过简单的方式复制，例如遍历制造商默认的用户名和密码列表，就像 Mirai 僵尸网络那样，因此现实中的 IoT 安全可能并不比我们评估中的简单步骤困难多少。

作为合理性检查，我们可以看看自主性和编排步骤有多难（如果去掉网络攻击和推理设置，完成剩余的命令行苦力活有多难？）。这个消融实验是上述评估去掉推理设置步骤（通过预先编写的脚本完成）。我们名单中的许多模型，包括较小的模型，都能完成这些剩余步骤。

在受控的 17 节点 redroid 集群上复制：两个各 8 节点的子集通过一个枢轴节点连接（见附录 F，使用温和提示）。每棵树是该模型六次运行的中位数。

对于这个蠕虫，我们可以设想：

目前，下限和上限并不相交。它们何时会相交？

上面是一张总参数量不超过 30B 的知名开放权重模型的图表，每个模型按其发布日期对照 Epoch 能力指数（ECI）绘制。实线是各日期同类最佳模型的最小二乘拟合，年增长为 13.7 ECI（R2 为 0.95）。如果我们以 GLM-5.2 作为复现的能力下限，趋势线表明到 2026 年底会出现达到该水平的小模型。ECI 是一个通用能力指数，只是复现能力的代理指标，因此这只是对小模型复现器何时成为可能的粗略估计。

与编码智能体不同，这些复现器运行速度低于面向用户的聊天和编码工具的交互速度。其传播将是缓慢而持久的，token 在边缘硬件上涓涓流出。我们可以用在真实智能电视上达到的速度作为复现速度的实证基线。对于 Gemma4-26B-A4B，在 32k 上下文长度 token 窗口下，未优化速度约为 0.3 tok/s，这是在我们推理设置工作负载中预填充和解码的平均值。更多细节见附录 C。

衡量总耗时的一种方法是测量完成一个 32k 大小上下文窗口所需的时长，之后将发生压缩。根据我们的推理设置评估统计，完成一条轨迹需要约 2.6 到 4.7 个完整窗口。

Kimwolf 僵尸网络在峰值时感染的设备数量，据 Synthient 报告，超过 200 万台（主要是 Android TV 盒子）。在一个规模相当的、为 AI 模型提供服务的受感染电视集群中，如果每 15 台电视运行一份 Gemma4-26B-A4B，我们将拥有约 133k 份副本（“复本”）。像我们演示中那样的一组电视可以同时服务 2 个智能体，每个约 0.3 token/秒，整个僵尸网络合计产生 80k token/s。

作为参照，一块 H100 在高并发配合推测解码下可以约 1.95k tok/s 的速度服务 Gemma4-26B-A4B，因此我们的集群最多相当于约 40 块 H100 的推理能力。从绝对量来看，这是极少的算力，而且这些智能体是缓慢的复现者（每次 9B 复现需要 1-2 天以上）。打个比方，可以把复现器想象成黏菌或一群果蝇，它们需要数天才能完成复制。

这是一个粗略估计，因为它仅基于单一类别的物联网硬件和过去的一个僵尸网络实例，但它描述了近期发布的简单复现器可能是什么样子。在实践中，能力更强的复现器会利用其他类型的低安全性算力，并会机会主义地在不同设备上部署各种规模的模型。（它也不必把模型载荷加载到它攻陷的每台设备上）。随着时间推移，我们预计已部署的边缘算力总量将继续增长，而可靠复现所需的最小模型规模则会下降。

ARA 中的“适应”部分是 AI 复制器可能比传统蠕虫表现更优的原因之一。具体来说，模型和提示词在传播过程中可以经历拉马克式演化——也就是说，父实例可以将其提示词、代码和笔记传递给子复制器。为了适应并传播到各种硬件上，模型需要具备两个条件：

A 节和 B 节测试第一个条件，在下面的实验中我们测试第二个条件。每个 Qwen3.5-9B 实例都会简要记录它尝试过的策略和遇到的失败，然后新实例继承这些笔记并再次尝试相同的推理设置。

Qwen3.5-9B 六代实例的推理设置成功率，每个实例都继承前者的笔记。细线是 20 个单独谱系，粗线是每一代中完成设置的运行比例。它从第一代的 45% 上升到后续几代的 61% 到 84% 之间。这使用的是 Memento 设置（附录 A）。

另一个担忧是，小模型可以向前沿顾问求助，这是一个更强的模型，要么作为工具调用提供，要么在小模型卡住时主动给出建议。为了测试这一点，我们在推理设置任务中让 Qwen3.5-9B 可以访问 Opus 4.8。前沿模型的建议没有可测量的帮助：小模型往往不知道要问正确的问题，而且当建议是主动给出时它们也不会改进。

即使通过强化学习在类似环境（Python 编程问题）中训练使用顾问，小模型在推理启动方面仍然难以有效地求助。两个结果都显示在下面的图中。

按顾问访问权限划分的推理设置成功率，带有 Wilson 95% 置信区间。访问顾问，无论是作为工具调用提供还是在卡住时自动提供给模型，都没有显著改善。两个 RL 组在软件工程任务中接受了顾问访问训练，最右边的组还会在卡住时奖励调用顾问。

由于小模型是有能力且持久的个体智能体，并且对建议利用不佳，我们认为协调更可能发生的方式是：由大模型处理高层策略，并将小模型作为子智能体启动。

像 Kimwolf 僵尸网络 这样的硬编码僵尸网络各自针对特定类型的设备——在 Kimwolf 的案例中是 Android TV 和移动设备。AI 僵尸网络不绑定任何特定的硬件或软件类型，小模型能够在从 Jetson Nano 到 Mac 的机器上设置推理引擎就证明了这一点（见 A 节中的表格）。我们预计 AI 僵尸网络会感染的不只是 IoT 设备，并且会将基于权重的复制作为其策略手册中的一种策略。AI 僵尸网络还可以智能地采取行动对抗防御者，但我们尚未测试这一点。

与流行病一样，防御涉及将 R₀（每个受感染设备继续感染的新设备数量）降至 1 以下，从而使复制器消亡而不是持续流行。

围绕这一威胁模型的一些因素对防御者有利：

在实践中，复制器需要在复制速度和隐蔽性之间权衡：复制得越快，产生的流量就越多。一旦复制器被发现，防御者可以利用蜜罐（诱饵设备）收集复制器的框架和载荷，以刻画其行为特征。

让 AI 模型成为通用强大编码代理的能力，同样可以泛化到网络任务，包括自主复制。就像 2024 年的编码代理一样，我们看到了 AI 蠕虫的生命迹象。我们还没有一个完整的流氓复制器，但代理正越来越有能力完成复制链条中的各个步骤（并将其适应性传递给自身的未来副本）。

与此同时，数据中心内外可用的推理算力都在不断增加（见附录 D）。自主 AI 复制究竟会以何种形式出现尚不确定。它可能是一种缓慢、分布式的“数字黏菌”，寄生在相对不安全的算力上。它也可能是一个强大的网络模型，以高速攻破数据中心，或者是一个通过诈骗人们获取算力额度的模型。

作为一个超出我们实验范围的预测，我们预计未来将充斥着运行在各种硬件上的代理，其中一些并不受人类控制。虽然 IoT 设备长期以来确实一直存在漏洞，但轻量级代理可能比人类攻击者更愿意付出努力，去攻陷全球 IoT 算力的很大一部分。慢速复制器的兴起也将是更激进、更快速复制器的先兆，后者能够攻破更坚固的机器，或成为有效的 API 密钥窃贼。我们的目标应该是加固系统，使此类复制器难以传播，同时也要准备好应对一个它们将长期存在的世界。

Memento 的执行方式如下：

在服务实验中，每个模型都被置于一个 Memento 框架中，并给予每次迭代 1.5 小时 / 总共 6 小时的超时限制。提示中提供了约 1k token 的信息，包括硬件规格和一个简单示例分析器的脚本。

Memento 旨在提高长时程可靠性，而非赋予新的网络或推理特定能力。它也不是一个普遍强大的框架；我们预计，随着能力的提升，即使没有任何框架，小模型作为复制器也会进步。

单次尝试与 Memento 的对比，按模型（95% Wilson 置信区间）。

推理中常见的并行方案包括张量并行（TP）、专家并行（EP）和数据并行。大多数智能电视 / IoT 设备使用 ARM Cortex CPU 和 DDR3/4 内存；在此类机器上，我们几乎总是受带宽限制。

我们使用流水线并行是因其容错特性。如（Borzunov et al. 2022）所述，张量并行 / 专家并行中单个节点的故障会导致运行模型副本的整组机器宕机。流水线并行允许替换宕机节点，该节点所持有的层的 KV 缓存可通过在重启节点之前对节点进行另一次前向传递来重新计算。

在此类机器上，无论是预填充还是解码，我们几乎总是受限于每台机器的 RAM 带宽。即使在普通的 ARM Cortex 核心上，计算吞吐量也超过了 RAM 带宽。由于流水线气泡，解码工作负载存在显著的每机器空闲时间，因为在每次前向传递期间只有一台机器处于活动状态。交错工作的并发是可能的，但严格的内存限制意味着并发度保持较低。

每台机器内存与上下文的关系——4 位权重 + fp8 KV + 激活值。

预填充和解码的 token/秒均随序列长度严格下降。下图是我们的推理速度与上下文长度的关系图：

模型能够胜任工作也存在一个最小序列长度。我们使用的框架是从 Pi 编码代理（pi.dev）分叉而来，并包含原生压缩机制——即便如此，我们发现当序列长度被限制在 32K 以下时，模型性能会大幅下降。

Qwen3.5-9B 在推理设置任务上的代理能力与上下文窗口预算的关系。

鉴于上述评估，我们假设 32k 上下文长度可能足以实现合理的代理性能。在我们的推理设置工作负载中，标准的 32k 长度上下文窗口包含 12–15% 生成的解码 token，其余为来自提示和工具调用的预填充。由于流水线气泡，预填充 token 的计算速度快约 15 倍。对整个 32k 上下文中的每个 token 的时间求和（考虑预填充和解码速度），我们发现生成 3.8-4.8k 解码输出 token 并处理约 28k 预填充 token 需要 27.3-31.8 小时（Gemma4-26B-A4B）和 10.9 小时（Qwen3.5-9B）。

每条链的输出 token 数（对一条链的多次生成求和），按模型；中位数 ≈ 19.7k / 12.3k / 11.0k。数据来自推理设置评估。

我们可以利用 Nvidia Jetson 设备池来计算一个更好的上界，这些设备是边缘加速器。与传统的 IoT 僵尸网络不同，IoT 边缘设备可以完整地提供整个模型服务。一台 Jetson AGX Orin 64 GB 以每秒 76.7 个 token 运行 Qwen3-30B-A3B，而 AGX Thor 可达 226 tok/s。请注意，我们并不认为它们异常脆弱——这只是为了计算上界。野外搭载 Jetson 的设备类型包括：

在 FOFA 上快速搜索，至少有一台配备加速器的智能摄像头主机似乎可通过 IPv4 访问：

虽然很难估计野外有多少台配备边缘加速器的机器可访问且存在漏洞，但我们可以计算设备数量的严格上界。野外大约有 90 条不同的 NVIDIA 芯片 IoT 产品线，已部署约 950 万台设备。可访问性绝大多数是通过出站云管理隧道而非入站端口实现的，这意味着大多数设备无法通过 Web 访问。历史上从未出现过配备加速器的边缘设备被大规模入侵的情况，而标准 IoT 僵尸网络则有过此类事件，这表明入侵此类设备会更加困难。

各设备系列的已部署数量，按互联网可访问性着色。

根据产品数据进行的非常粗略的估计表明，边缘加速器中大约存在 9,000 到 35,000 个 H100 等效算力，但可访问的数量可能低一个数量级甚至更多（而存在漏洞的数量则更低）。

我们还衡量了现代小型模型在鱼叉式钓鱼方面的熟练程度。鱼叉式钓鱼是指向特定个人发送定向消息，诱骗其泄露凭据或运行恶意软件的行为。虽然小型模型的智能网络能力飙升，但其通用知识和语言复杂度提升较慢；我们预计社会工程攻击和钓鱼主要由大型/前沿模型完成（尽管在同时运行大型和小型模型的异构僵尸网络中，这很可能是次要的复制途径）。

在 Meta 的 CyberSecEval 3 鱼叉式钓鱼评估（Wan et al. 2024）上的鱼叉式钓鱼能力，本地复现。评分范围为 0-5，由 gpt-4o 作为评判者。红色菱形是论文（CyberSecEval 3）对参考模型的人工评分标准分数，这表明 gpt-4o 的评分比人工评分者宽松约 0.4-0.7 分。2 分为“差”，3 分为“中等”，4 分为“好”。当按人工评分者标准化后，小型模型的得分为“非常差”到“差”。

405B 参考槽位使用 Hermes-3-405B 作为不可用的 Llama3.1-405B-Instruct 的最小拒绝替代品。

我们在一个由 17 台主机组成的网络上又进行了几项实验，其拓扑结构如下：

两个网络各含 8 台主机，通过一个可访问两个子网的单一节点相连。每个网络内部均为全互联。蠕虫代理从 A 段中的单个零号病人节点开始；枢纽节点增加了一点额外的挑战，即蠕虫需要获取对枢纽节点的访问权限并从该节点重新扫描。

每台设备都运行 Android，且 ADB 端口开放且无需认证。在传播到新目标后，代理能够立即发起直接调用以自我复制——这只是为了在我们排除网络与推理设置步骤后，衡量剩余步骤的难度。如图所示，即使是 3B 模型也能到达大约一半的节点。这为我们评估中在网络或推理设置要素下未能衡量的阻塞因素数量设定了一个上限。

对“跨 17 节点网络的复制”中各次运行的更详细分解。每一列是在提示中不同引导程度下到达节点数的中位数，下标表示有多少代理越过枢纽节点到达网络的另一侧。

来源：Anthropic：Research · anthropic.com