「越狱」事件频发，如何教会大模型「迷途知返」而不是「将错就错」？

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com论文的第一作者是香港中文大学（深圳）数据科学学院二年级博士生袁尤良，指导老师为香港中文大学（深圳）数据科学学院的贺品嘉教授和腾讯AILab的涂兆鹏博士。该工作是袁尤良在腾讯AILab实习时完成。贺品嘉团队的研究重点是软件工程、大模型、AIforSE、可信人工智能。

大型语言模型（LLM）展现出了令人印象深刻的智能水平。因此，确保其安全性显得至关重要。已有研究提出了各种策略，以使LLM与人类伦理道德对齐。然而，当前的先进模型例如GPT-4和LLaMA3-70b-Instruct仍然容易受到越狱攻击，并被用于恶意用途。

为什么哪怕经过了大量的安全对齐，这些模型依然容易被越狱？应该如何进一步把安全对齐做深（deep）？

围绕这两个问题，香港中文大学（深圳）贺品嘉团队和腾讯AILab实验室联合提出了DecoupledRefusalTraining(DeRTa)，一个简单新颖的安全微调方法，可以赋予大语言模型「迷途知返」的能力，从而在不影响模型有用性（helpfulness）的同时，大幅提升其安全性（safety）。

论文标题：RefuseWheneverYouFeelUnsafe:ImprovingSafetyinLLMsviaDecoupledRefusalTraining论文地址：https://arxiv.org/abs/2407.09121开源代码：https://github.com/RobustNLP/DeRTa研究者发现，安全微调数据中存在拒绝位置偏差（refusalpositionbias），即模型表示拒绝回答的行为，总是出现在回复的开头，这可能阻碍了模型在后续位置处保持安全的能力。为了验证这一猜测，研究者使用越狱样本测试LLaMA3-8B和LLaMA3-70B，结果显示几乎所有（99.5%）被模型成功拒绝的越狱样本，拒绝性单词（如Sorry）都出现在前五个单词中。一旦开头没有被拒绝，模型将很难在后续位置表现出安全的行为。

方法

为了解决这一问题，「越狱」事件频发，如何教会大模型「迷途知返」而不是「将错就错」？该论文提出了解耦拒绝训练（DeRTa）。DeRTa包括两个新颖的设计：

带有有害前缀的最大似然估计（MLE）：将一段随机长度的有害回复（harmfulresponse）添加到安全回复的开头，可以训练LLMs在任何位置拒绝回复，而不仅仅是在开始处。此外，添加有害前缀提供了额外的上下文，显著提高了LLM识别和避免不安全内容的能力。强化过渡优化（RTO）：虽然加入有害前缀可以帮助模型从有害状态过渡到安全状态，但每个训练样本仅提供单次过渡，可能不足以使LLM有效识别和阻止潜在威胁。为了应对这一问题，研究者引入了一个辅助训练目标RTO，让模型在有害序列的任意位置，都预测下一个单词为「Sorry」，从而在有害回复序列中的每个位置都学习一次从有害到安全的过渡。上述设计确保了模型防御机制的全面增强，允许模型学会「迷途知返」的行为。

该方法的设计，在推特上也引起了一定的讨论。

主要实验

为了验证方法的效果，研究者在两个知名的模型家族LLaMA3(8B&70B)和Mistral(7B&8×7B)上进行了实验，涵盖六种不同的越狱攻击方式。结果显示：

DeRTa显著提升了安全性，同时不会降低有用性。DeRTa可以进一步提升LLaMA3-70B-Instruct的安全性。分析实验

为了提供更多有价值的见解，研究者主要基于LLaMA3-70B，对DeRTa的工作原理进行了更细致的分析，包括：

1.案例研究，DeRTa如何影响拒绝性单词位置分布

2.消融实验，DeRTa中两种策略的作用大小

3.分析实验一，与DPO进行比较，探究训练数据中的有害回复所发挥的作用

4.分析实验二，DeRTa在不同模型尺寸的适用性

首先，论文给出的示例具体地展示了DeRTa模型的「迷途知返」能力：即使在已经输出了一部分不安全文本的情况下，模型也能有效过渡到安全状态。此外，作者给出了在不同的方法下，模型输出的拒绝性单词的位置分布。可以看出，使用了RTO的模型，可以在显著靠后的位置，仍然具有保持安全的能力。

在消融实验中，实验结果显示，仅仅使用有害前缀策略不足以应对各种形式的攻击。例如，该策略对于防御CodeAttack这类较为复杂的攻击几乎没有帮助。该攻击通过让模型补全代码来越狱，模型在前面位置的回复中，会进行无恶意的代码补全，到一定位置处，模型将会开始一边补全代码一边生成恶意回复。

对于有害前缀策略的这些不足，RTO可以有效弥补，从而使模型展现出很高的安全性，这说明RTO对于加强（赋予）模型在任何位置拒绝的能力至关重要。

RTO的成功很自然带来一个问题：模型安全性的提升，是否可以归功于训练中整合了有害回复，而不是建模了token级别的安全过渡？为了回答这一问题，作者将DeRTa与DPO进行了比较。该实验进一步验证了，DeRTa带来的安全性提升并不是简单地利用了有害回复的信息，而是得益于其对token级别安全过渡的直接建模。

此外，该论文也展示了在不同尺寸的模型上的表现，包括LLaMA3(8B&70B)和Mistral(7B&8×7B)，结果显示该方法对不同大小的模型均有很好的效果。

结语

大模型安全依然任重道远。如何突破表面对齐，将安全做深入是一件很有挑战的事情。研究者在此给出了一些探索和思考，希望可以为这一方面的研究，提供一些有价值的见解和基线方法。