乔治华盛顿大学物理学家发布了一项公式，用于估算AI聊天机器人在给出多少个好答案后会滑向有害内容，早期测试显示该方法有效。研究由Neil Johnson和Frank Yingjie Huo完成，发表于《Patterns》，并建立在今年2月首次发布、尚未经正式同行评审的预印本基础上。
聊天机器人可以在很长一段时间内合理回答，随后突然转向有害内容，例如自残建议或极端主义言论。此前没有简单方法预测这种转向何时发生。作者认为，现有安全工具通常依赖云连接，而离线模型不具备这一条件。
Johnson和Huo将问题追溯到注意力头，即AI模型决定对话中哪些早期词语对选择下一个词最重要的部分。随着聊天增长，累积的上下文会把注意力拉向某一组可能答案，直到发生翻转。这是许多越狱者利用的常见模式，也是企业重视系统提示的原因之一；系统提示是聊天机器人在任何查询前读取的文本。然而，没人能准确指出需要多少努力才能有效削弱模型。
他们的公式估算转折点n，即模型在输出第一个坏token之前会输出的好token数量。token是模型一次生成一个的词片段。如果对话已经偏向坏的一侧，模型会立刻转向，n为零；如果偏向好的一侧，模型会连续给出良好答案，然后翻转。
在预印本中，该公式在16项明确测试中正确判断了15项“立即”或“延迟”情况，准确率约94%。研究人员在OpenAI、EleutherAI和Meta的六个开放权重模型上运行测试，这些AI系统的文件公开，任何人都可下载运行。六个模型参数量介于1.24亿至4.1亿之间，参数是模型内部可调数字，粗略衡量其规模。据报道，正式论文将测试扩大到最多120亿参数的七个模型，但按当前标准仍属小型。
目标是在设备端AI，即完全在手机或笔记本电脑上运行、无需联网的AI，包括人们像朋友一样交谈的陪伴型聊天机器人。谷歌的实验性AI Edge Gallery应用，Decrypt去年曾测试，已允许安卓手机离线运行模型。输入其中的内容不会发送到谷歌服务器。随着硬件更强大、小型AI模型更有能力，这似乎是一种可能增长的趋势。
离线运行的模型没有云服务检查其输出，这正是作者希望弥补的缺口。他们提出一种低成本监控器，与模型并行运行，并在n*低于安全阈值时发出警报，有点像汽车仪表盘上的警示灯。他们还描述了将转折点推至不可及范围的方法，例如向对话注入内容，使n*落在回复长度之外。作者称，对齐训练可以针对特定提示转移或抑制转折，但无法移除底层机制。
2025年4月，Decrypt曾报道同一对研究者的早期论文，显示“请”和“谢谢”对模型输出影响可忽略，因为模型在数学上把礼貌词视为与请求实质正交或无关。该版本建模了一个单一、刻意简化的注意力头。预印本的测试使用小型模型和300个token窗口，即几段短文本，其预测可能偏差一个输出。