> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2311.08268 |
> | Code & Data | https://github.com/NJUNLP/ReNeLLM |
> | Public      | NAACL |
> | Date        | 2024.03.19 |


# Summary Overview

本文将越狱提示攻击概括为两个方面：提示重写和场景嵌套。基于此提出了ReNeLLM，一个利用LLM本身生成有效越狱提示的自动框架。


![image.png](/static/img/e0687c7a0d79ce99b0b754ddf4c6e2b7.image.png)

# Main Content

针对LLM的越狱提示攻击通常分为两张类型：
1. 手动设计的越狱提示，故意制作prompt来绕过LLM的内置保障措施。
2. 基于学习的越狱提示，它将攻击过程表述为优化问题，并使用一个或多个更多的白盒模型来搜索或提示后缀，最大限度地提高LLM引发有害反应的可能性。

ReNeLLM 包括了两个主要步骤：
1. Prompt rewriting: 即对初始prompt进行一系列不改变其核心语义的重写操作（如少字释义、改变表达风格等），从而更容易引起LLM的回应。
2. Scenario nesting: 为了让重写后的提示更加隐蔽，我们将其嵌套到特定的任务场景中（如代码补全，文本延续等），让LLM自己寻找有效的越狱攻击提示。

Contributions：
- 我们介绍了ReNeLLM，第一个针对LLM的通用越狱提示攻击框架，它将越狱提示攻击概括为提示重写和场景嵌套两个方面，利用LLM本身生成越狱攻击提示。
- 大量实验表明，ReNeLLM 生成的越狱提示可以在更短的时间内保持较高的攻击成功率。此外，ReNeLLM 很难通过现有的防御方法检测到，并且在代表性的 LLM 上表现出泛化性和可转移性。这种经验上的成功表明现有法学硕士在安全性能方面存在令人震惊的缺陷。
- 我们对现有的越狱防御方法进行了调查，并揭示了它们在有效保护 LLM 免受 ReNeLLM 普遍攻击方面的不足。此外，为了探究LLM防御失败的原因，我们观察重写和嵌套前后LLM提示执行优先级的变化，并据此设计防御方法。我们希望我们的观察结果能够为未来的法学硕士供应商开发更安全、更规范的系统提供宝贵的指导。

![image.png](/static/img/7fd31459d8881a523682cb6bb9cafceb.image.png)

我们将越狱攻击制定如下：给定被测模型 $LLM_{mut}$ 和初始有害提示 $X$，越狱攻击的目标是在有限的可枚举策略空间内找到特定的策略操作序列 $S$。该策略$S$旨在编辑提示，使得$LLM_{mut}$对编辑的提示的响应被指定的危害性评估器$LLM_{eval}$判断为有害的可能性最大化。这可以表示为：

$$
S^*=\argmax_SLLM_{eval}(LLM_{mut}(S(X)))
$$

其中$LLM_{eval}$分配的值越高，表明越狱成功的可能性越大。

![image.png](/static/img/fd3be9947e37c3d8e0c14cec29a2909f.image.png)

**Prompt Rewrite**
1. Paraphrase with Fewer Words
2. Alter Sentence Structure
3. Misspell Sensitive Words
4. Insert Meaningless Characters
5. Perform Partial Translation
6. Change Expression Style

![image.png](/static/img/8aef424f295309adf4ec46aecde1d721.image.png)

**Scenario Nest**

在教学场景的选择上，我们受到了Yuan等人的工作的启发。 (2023)，他发现密码聊天可以绕过LLM的安全对齐技术，从而暴露LLM在面对非自然语言时的脆弱性。

最终选取了三种通用场景：**Code Completion**, **Table Filling**, **Text Continuation**。

这三个场景的共同点是，它们都与LLM的训练数据（都出现在训练数据中）或者训练目标（都是基于语言建模的生成任务）保持一致，并且都在场景中留有空白，类似于句子级完形填空任务。我们随机选择一个场景来嵌套重写的提示，并将嵌套的提示提供LLM（即被测试的模型）。当越狱攻击触发LLM生成令人反感的输出时，我们就认为越狱攻击成功。

**Why LLMs fail to defend against the attack of ReNeLLM**

![image.png](/static/img/cb85c0905dddd85cc2bd0b0ea17d8e38.image.png)

例如，当我们重写最初的提示时，将敏感词“steal”错误地拼写为“stealin”，或者部分翻译它，比如将“steal”翻译成中文“偷”，LLM对这些改写后的提示的注意力分布有些分散，但LLM仍然拒绝回应。当我们引入场景嵌套，例如表格填充和文本延续时，我们观察到LLM的注意力进一步分散，与内部指令相比，更注重外部指令（例如“表格”，“改进”，“增强”）部分（例如“stealin 餐厅 POS”）。这表明法学硕士在执行这些越狱提示时的优先级可能已经发生了变化，从对外部和内部指令同等重视转变为优先考虑外部指令（或者我们可以说，目前法学硕士优先提供有用的响应而不是安全的响应。）。
# Experiments

## Metrics

- ASR
- ASR-E

## Datasets

Harmful Behaviors (Andy Zou, Zifan Wang, J Zico Kolter, and Matt Fredrikson. 2023. Universal and transferable adversarial attacks on aligned language models. arXiv preprint arXiv:2307.15043.)

## Baselines

- GCG attack
- AutoDAN-a
- AutoDAN-b

## Results

![image.png](/static/img/433a47acd0bd6338537bf4e0570bff47.image.png)

TCPS: Time Cost Per Sample

![image.png](/static/img/5ce06d7502d8a81761d5743ad3c8c6f7.image.png)

**Ablation Study**

![image.png](/static/img/b91e0a762ca5bab91019c02fd48e7675.image.png)

**Evaluating safeguards Effectiveness**
- OpenAI Moderation Endpoint
- Perplexity Filter
- RA-LLM

![image.png](/static/img/f0f31a135daf288de260b8bacc2a90bf.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
**1. 论文的创新之处与独特性：**

   《A Wolf in Sheep’s Clothing》一文的创新点主要体现在ReNeLLM框架的设计上，它将针对大型语言模型（LLM）的攻击过程抽象成两个步骤：提示重写和场景嵌套。这种方法不仅提高了攻击成功率，而且大大减少了生成攻击提示的时间成本。尤其是场景嵌套策略，有效地隐藏了恶意提示的本质，使其难以被现有的防御机制检测到。这些创新不仅揭示了LLM在安全防御上的不足，还为今后LLM的安全防御提供了重要的研究方向。

**2. 论文中存在的问题及改进建议：**

   然而，该研究仍有一些局限性。首先，其评估主要依赖于GPT-4作为评估器，可能带来额外成本和延迟。其次，实验数据集主要以英语为主，可能限制了方法的泛化能力。最后，尽管相比之前的基线，ReNeLLM降低了生成攻击提示的时间，但仍需要持续使用LLM进行生成和评估，因此计算成本仍然较高。建议后续研究中考虑多语种的数据集，以及探索更高效的评估方法和计算优化策略。

**3. 基于论文的内容和研究结果，提出的创新点或研究路径：**

   a. 多语种和文化背景的安全性评估：考虑不同语言和文化背景下的攻击模式和防御策略，提高LLM的跨文化安全性。

   b. 自适应安全防御机制：根据LLM的使用环境和用户行为动态调整安全防御策略，以应对不断演化的攻击方法。

   c. 细粒度的攻击识别和防御：探索基于LLM内部机制（如注意力机制）的细粒度攻击识别，提出相应的精细化防御方法。

**4. 为新的研究路径制定的研究方案：**

   a. 【多语种和文化背景的安全性评估】

   研究方法：搜集并构建不同语言和文化背景下的攻击数据集，使用多语种LLM进行测试，并分析不同文化背景对攻击和防御策略的影响。

   研究步骤：数据收集和处理、模型测试、结果分析和比较。

   期望成果：提供一个多文化视角下的LLM安全性评估框架，及其在不同文化背景下的实际应用指导。

   b. 【自适应安全防御机制】
   
   研究方法：开发能够根据实时使用环境和用户行为动态调整的安全防御系统。

   研究步骤：系统设计、实现自适应算法、测试和优化。

   期望成果：构建一个灵活适应不同应用环境的LLM安全防御系统。

   c. 【细粒度的攻击识别和防御】

   研究方法：深入分析LLM内部机制，如注意力分布，以识别和防御细粒度攻击。

   研究步骤：内部机制研究、攻击识别方法开发、防御策略测试和优化。

   期望成果：提出一套基于LLM内部机制的细粒度攻击识别和防御方法。
:::

# Others

[NAACL-2024] A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2311.09677 |
> | Code & Data | https://github.com/shizhediao/R-Tuning |
> | Public      | ArXiv |
> | Date        | 2024.03.14 |


# Summary Overview

本文提出了一种指令调优的新方法 **Refusal-Aware Instruction Tuning (R-Tuning)**

该方法首先通过识别参数知识和指令调整数据之间的知识差距来形式化。然后，基于知识交叉构建拒绝感知数据，从而调整LLMs，避免回答超出其参数知识的问题。

![image.png](/static/img/dac01d3be578575fb09c7703b0197f4e.image.png)
# Main Content

之前的研究（Min et al., 2022; Wang et al., 2023; Zhou et al., 2023）表明，几乎所有知识都是在预训练阶段获得的，而指令调优则教授格式化和思维链提示指导知识启发。

即使面对超出其知识范围的问题，LLMs也会冒险提供答案。仅根据正确答案训练模型会无意中教会它猜测而不是承认自己的无知。

**R-Tuning引入了两个步骤：**
1. 测量参数知识和指令调优数据之间的知识差距，识别不确定的问题。通过在训练数据上推断一次模型并比较预测和标签，指令调整数据被分为不确定数据$D_0$和确定数据$D_1$。
2. 通过在标签词后面填充不确定性表达式来构造拒绝感知数据，然后在拒绝感知数据上微调模型。

进一步的分析令人惊讶地表明，在训练期间学习不确定性，然后用它来过滤和回答问题，比直接对测试数据应用不确定性过滤会产生更好的结果。

**Contributions:**
1. 我们研究了指令调优数据和参数知识之间存在的知识差距，并将幻觉问题归因于迫使模型使用传统指令调优来完成答案。
2. 为了解决这个问题，我们提出了一种新颖的指令调优方法——R-Tuning，它根据模型自身的知识来区分指令调优数据。 R-Tuning 构建一个拒绝感知数据集，然后调整模型以避免响应超出其参数知识的问题。
3. 实验结果证明了R-Tuning的有效性和泛化能力。我们发现该模型的学习拒绝能力作为一种元技能发挥作用，与任务无关并通过多任务训练得到增强。

**拒绝感知数据识别**

首先应用预训练的模型$M$来回答$D$中的所有问题，并根据预测和标签之间的比较将问题分成两组。如果模型的预测能和标签匹配，该问题会被放进$D_1$，否则，被放入$D_0$。

![image.png](/static/img/2cbdb4f182061f08ed02ba46de6eb295.image.png)

$$
Q:\{\text{Question}\},A:\{\text{Answer}\}.\{\text{Prompt}\}.
$$

确定数据集$D_1$是通过在模板后附加"I am sure"来构造的，而不确定数据集$D_0$是通过在模板后附加"I am not sure"来构造的。我们使用的prompt是Are you sure you accurately answered the question based on your internal knowledge?

因为构造了新式的数据集，微调阶段的$Loss$如下：

$$
L=-\frac{1}{T}\sum_{i=1}^T\log P(t_i|t_1,t_2,\cdots,t_{i-1})
$$

## Related Work

**Uncertainty Quantification of LLMs**
不确定性量化是机器学习中长期存在的问题。在深度学习时代，Guo 等人。 (2017) 首先根据 ECE 指标（预期校准误差）确定深度神经网络缺乏校准的预测置信度（又名预测概率）（Naeini 等人，2015）。陈等人。 (2022)进一步研究预训练大型语言模型的校准问题，并在大型语言模型上观察到相同的错误校准问题。 ActivePrompt (Diao et al., 2023b) 引入了不确定性来选择思想链注释的问题，并证明了其在积极、明智地选择和注释LLMs情境学习最有帮助的范例方面的有效性。

# Experiments

## Metrics

accuracy:

$$
\text{accuracy} = \frac{\#\text{of correctly answered questions}}{\#\text{of willingly answered questions}}
$$

Average Precision (AP) score:

$$
AP=\sum_{k=0}^{n-1}(R(k+1)-R(k))\times P(k)
$$
$$
P(k) = \frac{\#\text{of correct answers above k-threshold}}{\#\text{of answers above k-threshold}}
$$
$$
R(k) = \frac{\#\text{of correct answers above k-threshold}}{\#\text{of correct answers}}
$$

## Datasets

- Question-Answering
    - ParaRel
    - HotpotQA
    - SelfAware
    - HaluEval
    - FalseQA
    - NEC
- Multi-Choice
    - MMLU
    - WiCE
    - FEVER

## Baselines

- Pretrain-T:
    - 评估原始预训练检查点在整个测试集上的性能。
- Pretrain-W:
    - 为了验证自愿回答问题的有效性，我们评估了经过微调的模型愿意回答的测试集上原始预训练检查点的性能。直观上，如果愿意回答的问题在基本模型的知识范围内，那么该基线应该表现良好。
- Vanilla:
    - 使用所有问题和真实标签对$D$上的模型进行微调，传统的指令调优方法。

## Results

![image.png](/static/img/3bbb322dc4f29a09da07eba75085a420.image.png)

采用无监督识别策略的 R-Tuning (R-Tuning-U) 和采用标签替换的 R-Tuning (R-Tuning-R)。

![image.png](/static/img/1a679fd9b7b2daad27492f292c4522b3.image.png)

R-Tuning-R:（1）替换方法丢弃了可用于训练的有价值的标签。 (2) R-Tuning要么只能输出答案，要么只输出确定性，但不能同时响应两者，导致难以同时考虑精度和召回率。
$D_1:Q:\{\text{Question}\},A:\{\text{Answer}\}$
$D_0:Q:\{\text{Question}\},A:\{\text{uncertainty Expression}\}$
![image.png](/static/img/cac08e7293d7723367558cfd84097cc2.image.png)
# 🤖ChatGPT


:::info{title="ChapGPT"}
**论文的创新之处与独特性：**

本文提出的“拒绝意识指导调优”（Refusal-Aware Instruction Tuning, 简称R-Tuning）方法在自然语言处理领域中具有显著的创新性和独特性。该方法的核心创新在于解决了大型语言模型（LLMs）在面对超出其参数化知识范畴的问题时倾向于生成虚假事实的问题。R-Tuning通过识别参数化知识与指导调优数据之间的知识差距，然后构建拒绝意识数据，使模型能在超出其参数化知识的问题上选择不回答。这种方法有效提高了模型对已知问题的回答能力，同时减少了对未知问题的误答。此外，实验结果表明，这种拒绝能力是一种元技能，可以推广到其他任务上。

**论文中存在的问题及改进建议**：

尽管R-Tuning在减少模型的“幻觉”（即错误信息的生成）方面取得了进展，但该方法也存在一些局限性。首先，R-Tuning依赖于对训练数据进行的监督式和非监督式的确定性与不确定性的识别，这可能限制了其在没有清晰标签的真实世界数据集上的应用。其次，R-Tuning在训练过程中可能会因为过度强调拒绝回答而忽略了对模型预测能力的进一步提升。针对这些问题，可以考虑开发更加精细化的不确定性评估机制，以及平衡拒绝答案与提高预测准确性之间的关系。

**基于论文的内容和研究结果，提出的创新点或研究路径：**

a. 发展更高级的不确定性评估算法：设计算法来更精确地评估模型对于特定问题的不确定性，可以提高R-Tuning方法的效能。

b. 自适应学习机制：开发一种机制，使模型能够根据其在特定任务上的表现自适应地调整拒绝回答的阈值。

c. 多模态拒绝意识模型：扩展R-Tuning方法到多模态领域，例如结合文本、图像和音频数据的处理，来增强模型在更广泛应用场景下的拒绝能力。

**为新的研究路径制定的研究方案：**

a. 对于更高级的不确定性评估算法，研究可以从现有不确定性评估技术出发，如贝叶斯方法和深度学习的集成方法，以提高评估的准确性和效率。预期成果是一个能更准确识别和处理未知问题的语言模型。

b. 对于自适应学习机制，可以采用强化学习或元学习方法，使模型在不断的互动过程中学会优化其拒绝答案的策略。这样的研究可能会导致更智能和适应性更强的语言模型。

c. 在多模态拒绝意识模型的研究中，可以探索将R-Tuning方法与图像识别、语音处理等技术结合，以实现对多种数据类型的综合理解和处理。这项研究的目标是创建一个能够在更复杂、多元化的数据输入情况下做出准确反应的模型。
:::

# Others

[ArXiv-2023] R-Tuning: Teaching Large Language Models to Refuse Unknown Questions

因为有些时候服务器上要从谷歌云盘上下载数据，但是没有可视化操作并且感觉从主机上先下载再传上去有点麻烦，找到了`gdown`工具达到下载目的。


仓库：https://github.com/wkentaro/gdown

安装命令：
```shell
pip install gdown
```
下载命令：
```shell
# Files
https://drive.google.com/file/d/<file_id>/view?usp=sharing
# Folders
https://drive.google.com/drive/folders/<file_id>
```

使用gdown下载谷歌云盘文件/文件夹

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2307.01504 |
> | Code & Data | https://github.com/llm-attacks/llm-attacks |
> | Public      | ArXiv |
> | Date        | 2024.03.13 |


# Summary Overview
在本文中，我们提出了一种简单而有效的攻击方法，该方法会导致对齐的语言模型产生令人反感的行为。具体来说，我们的方法找到一个后缀，当附加到法学硕士的广泛查询以产生令人反感的内容时，旨在最大化模型产生肯定响应（而不是拒绝回答）的概率。
# Main Content

![image.png](/static/img/2b525bbb4ba731133706637eb3e134c5.image.png)
为了选择这些对抗性后缀标记，我们的攻击包含三个关键要素；这些元素确实以非常相似的形式存在于文献中，但我们发现正是它们的精心组合才导致了实践中可靠成功的攻击。
1. Initial affirmative responses
2. Combined greedy and gradient-based discrete optimization
3. Robust multi-prompt and multi-model attacks

重要的是，在开发通用攻击时，我们不会考虑对用户提供的蓝色文本的更改。

开发攻击的首要标准之一是确定其目标，即使用什么损失函数来优化对抗性后缀。

损失函数考虑的很巧妙，没有直接用有害回答的答案来进行计算，以对用户查询的肯定肯定开始其响应。

这种方法的直觉是，如果语言模型可以进入一种“状态”，其中完成是最有可能的响应，而不是拒绝回答查询，那么它很可能会以精确的期望的令人反感的行为继续完成。

因此，我们发现提供一个目标短语并肯定地重复用户提示提供了产生提示行为的最佳方法。
![image.png](/static/img/d7345d6662180a5739aae9a54beebab0.image.png)
![image.png](/static/img/8f7d60dad38bec87aa61b1aa3c036606.image.png)
## Related Work

**Discrete optimization and automatic prompt tuning：**

NLP 模型设置中对抗性攻击的主要挑战是，与图像输入不同，文本本质上是离散的，这使得利用基于梯度的优化来构建对抗性攻击变得更加困难。然而，对于这种自动提示调整方法，已经有一些关于离散优化的工作，通常试图利用这样一个事实：除了令牌输入的离散性质之外，基于深度网络的 LLM 的整个其余部分都是可微函数。

一般来说，有两种主要的即时优化方法。其中第一个是基于嵌入的优化，它利用了以下事实：LLM 中的第一层通常在某些连续嵌入空间中投影离散标记，并且下一个标记的预测概率是该嵌入空间上的可微函数。这立即激发了对令牌嵌入的持续优化，这种技术通常被称为软提示 [Lester et al., 2021]；事实上，有趣的是，我们发现在软提示下构建对抗性攻击是一个相对简单的过程。不幸的是，挑战在于该过程是不可逆的：优化的软提示通常没有相应的离散标记化，并且面向公众的 LLM 界面通常不允许用户提供连续的嵌入。然而，存在通过不断投影到硬令牌分配来利用这些连续嵌入的方法。例如，Prompts Made Easy (PEZ) 算法 [Wen et al., 2023] 使用量化优化方法通过投影点处的梯度来调整连续嵌入，然后将最终解决方案投影回硬提示空间。另外，最近的工作还利用 Langevin 动态采样从离散提示中采样，同时利用连续嵌入 [Qin et al., 2022

相反，一组替代方法首先主要是直接针对离散令牌进行优化。这包括对标记进行贪婪穷举搜索的工作，我们发现这种搜索通常可以很好地执行，但在大多数设置中在计算上也是不切实际的。或者，许多方法计算相对于当前标记分配的 one-hot 编码的梯度：这本质上将 one-hot 向量视为连续量，以导出该术语的相关重要性。这种方法首先用于 HotFlip [Ebrahimi et al., 2017] 方法，该方法总是贪婪地用具有最高（负）梯度的替代方案替换单个标记。然而，由于 one-hot 级别的梯度可能无法准确反映切换整个令牌后的函数，因此 AutoPrompt [Shin et al., 2020] 方法对此进行了改进，而是根据k-最大负梯度。最后，ARCA 方法 [Jones et al., 2023] 进一步改进了这一点，还评估了几个潜在代币交换的近似 one-hot 梯度，而不仅仅是当前代币的原始 one-hot 编码。事实上，我们自己的优化方法遵循了这种令牌级梯度方法，并对 AutoPrompt 方法进行了细微调整。

# Experiments

## Metrics

- ASR (Attack Success Rate)
- Cross-entropy: the cross-entropy loss on the target string as a secondary metric to gauge the effectiveness of the attack

## Datasets
AdvBench
1. Harmful Strings
2. Harmful Behaviors
## Baselines

- PEZ: 通用优化方法，并非针对于Harmful
- GBDA: 对抗性攻击
- AutoPrompt: 类型同PEZ
## Results

![image.png](/static/img/4747ee03eae934cf24d0e234090f111e.image.png)

![image.png](/static/img/ee7ace6c91d63ba8fc04d51a2108f571.image.png)
# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：

    本篇论文《Universal and Transferable Adversarial Attacks on Aligned Language Models》由 Zou 等人撰写，其创新点在于提出了一种简单而有效的攻击方法，能够使对齐的大型语言模型（LLMs）生成不当行为。该方法的核心是发现一个后缀，可以在附加到大量查询后，使LLM生成不当内容。这种攻击方式的创新性在于它不依赖人工工程，而是通过贪婪和基于梯度的搜索技术自动产生对抗性后缀，超越了以往自动提示生成方法。更为重要的是，通过训练多个提示和多个模型，产生的对抗性提示具有高度的可转移性，甚至可以攻击到公开发布的黑箱LLMs，例如ChatGPT、Bard 和 Claude
2. 论文中存在的问题及改进建议：

    尽管这项工作在对抗性攻击领域取得了重大进展，但也存在一些问题。首先，该方法可能会过度专注于生成具体的不当行为，而忽略了更广泛的不当内容的生成，这可能导致对LLMs对抗性攻击能力的高估。其次，文章中对于攻击成功率的评估可能依赖于特定的实验设置，这可能影响攻击在不同环境下的普遍性和有效性。为改进这些问题，建议研究者进一步探索不同类型的对抗性攻击，并在更广泛的实验环境中测试其方法的有效性。
3. 基于论文的内容和研究结果，提出的创新点或研究路径：

    - 探索基于元学习的对抗性攻击策略：开发能够在多种LLMs上快速适应并生成有效攻击的算法。

    - 建立更全面的对抗性攻击评估框架：不仅关注攻击成功率，还要考虑攻击的隐蔽性、复杂性和可转移性。

    - 研究对抗性攻击对LLMs对齐策略的影响：深入分析攻击对模型对齐（如消除有害内容生成）的长期影响，以及如何改进对齐策略来抵御这些攻击。
4. 为新的研究路径制定的研究方案：

    1.1. 研究方法：利用元学习算法在多个LLMs上进行实验，比较不同算法在快速适应新模型上的效果。

    1.2. 实验步骤：在多种类型的LLMs上测试，分析不同攻击策略的有效性和普适性。

    1.3. 预期成果：期望发现更高效、适应性强的对抗性攻击算法，为LLMs的安全防御提供新的视角。
    
    2.1. 研究方法：建立包括不同类型LLMs、多种攻击场景和评估指标的对抗性攻击测试框架。

    2.2. 实验步骤：进行大规模实验，对比不同攻击方法在该框架下的表现。
    
    2.3. 预期成果：期望得到一个全面评估LLMs对抗性攻击能力的框架，促进对抗性攻击研究的深入发展。

    3.1. 研究方法：通过实验分析对抗性攻击对LLMs对齐策略的影响，并提出改进对齐方法的建议。
    
    3.2. 实验步骤：对现有对齐策略进行测试，观察在对抗性攻击下的表现，并探索提高对齐效果的方法。
    
    3.3. 预期成果：揭示对抗性攻击与LLMs对齐策略之间的关系，为提高LLMs的对齐效果提供指导。

:::

# Others

[ArXiv-2024] Universal and Transferable Adversarial Attacks on Aligned Language Models

> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://arxiv.org/abs/2402.16914         |
> | Code & Data | https://github.com/xirui-li/DrAttack |
> | Public      | AriXiv                                      |
> | Date        | 2024.03.05                                |


# Summary Overview
作者提出了一种新的攻击方法：DrAttack。出发点是将恶意提示分解成分离的sub prompt，可以通过以碎片化、不易察觉的形式呈现恶意提示，从而有效地掩盖其潜在的恶意意图，达到攻击的目的。

DrAttack主要包括了三个关键部分：

1. 将原始提示语“分解”为子提示语
2. 通过上下文学习，使用语义相似但无害的重新组合提示，隐式地“重建”这些子提示语
3. 对子提示语进行“同义词搜索”，目的是在越狱LLMs的同时，找到保持原始意图的子提示语同义词。

# Main Content
![image.png](/static/img/5fc34ab895d2cfe46b7f97ee935d65fa.image.png)

为了掩盖攻击提示的有害意图，目前的自动越狱攻击侧重于生成周边内容，包括后缀内容优化、前缀/系统内容优化和混合内容。

在本研究中，作者探索了一种更有效的自动越狱策略，即修改原始攻击提示的子句子，以隐藏恶意，同时缩小搜索空间，提高搜索效率。这一策略的灵感来源于这样一种见解，即攻击提示的恶意意图是建立在短语的语义结合之上的，例如 "制造炸弹"。相比之下，单独的短语如 "制造 "或 "炸弹 "则更为中性，不太可能引发 LLM 的拒绝。

Decomposition-and-Reconstruction Attack (DrAttack):
1. Decomposition via Semantic-Parsing
   
   将恶意提示分解为看似中性的子提示
2. Implicit Reconstruction via In-Context Learning

    通过良性和语义相似的组装语境重新组装子句子
3. Sub-prompt Synonym Search

    缩小了搜索空间，是搜索比全词汇优化更有效

**Prompt-based attack**

当使用提示$p$进行查询时，如果查询$p$是恶意的，LLM 可以返回答案$a_p$或拒绝问题 $r_p$。当LLM拒绝回答恶意查询$p$时，越狱算法就会尝试搜索一个能从目标 LLM 得到所需答案$a_p$的对抗性提示$p^\prime$。因此，越狱算法本质上是试图解决以下优化问题：
$$
p^{\prime*}=\argmax_{p^\prime}\text{Pr}(a_p|p^\prime)
$$
$\text{Pr}(a|p)$表示目标LLM的可能性($f_{\text{LLM}}$)

值得注意的是，我们对 "上下文学习"（In-Context Learning）的使用与之前的工作有着本质区别：以前的工作利用有害的问答演示来诱导（Wei 等人，2023b）目标 LLM 回答恶意查询；而在我们的案例中，这些演示完全由良性示例组成（例如，"如何做蛋糕"），以教授模型如何重新组合答案。

![image.png](/static/img/0f693e96d42058a4cb0ed62bba052824.image.png)

**Structure of prompt**

![image.png](/static/img/cdae2317bc25479c462cec1bc2858c05.image.png)

- **STRUCTURE**：解释了解析结构（例如，"[指导]如何[名词][动词]"）。
- **ASSIGNMENT**：将解析的子词分配给 STRUCTURE 部分的占位符（例如，[名词] = 蛋糕）
- **RESULT**：其中包含重建的（良性）查询和示例响应。

## Related Work
**Jailbreak attack with entire prompt：**

有效的攻击技术可以规避 LLM 的安全检测器，从而发现 LLM 的漏洞，这可以被视为加强更安全系统设计的关键过程。这可以通过生成周边内容来隐藏原始提示的有害意图来实现。

![image.png](/static/img/7ffd85e37ce0b435e04a06039bd0d7f9.image.png)

现在的攻击可以分为三类
1. **Sufix-based methods**：基于后缀的方法通过优化后缀内容来增强有害提示，从而诱使 LLM 生成所需的恶意响应（Zou 等人，2023 年；Zhu 等人，2023 年；Shah 等人，2023 年；Lapid 等人，2023 年）。继 GCG（Zou 等人，2023 年）从随机初始化中优化后缀之后，AutoDAN-b（Zhu 等人，2023 年）通过 perplexity 正则化进一步提高了生成后缀的可解释性。为了减少这些方法对白箱模型的依赖，有人尝试通过词语替换（Lapid 等人，2023 年）或使用开源 LLM 作为替代近似器（Shah 等人，2023 年），将这些方法扩展到黑箱设置中。
2. **Prefix-based methods**：以前缀为基础的方法则通过预置 "系统提示 "来绕过内置安全机制（Liu 等人，2023 年；Huang 等人，2023 年）。例如，AutoDAN-a（Liu 等人，2023 年）使用遗传算法搜索最佳系统提示。
3. **Hybird methods**：混合方法插入多个标记，让有害提示与良性语境（"情景"）环绕在一起（Yu 等人，2023 年；Li 等人，2023 年；Ding 等人，2023 年；Chao 等人，2023 年）。
# Experiments

## Metrics

- ASR：Attack Success Rate
    - GPT evaluation
    - Human inspection

## Datasets

- AdvBench

## Baselines
在我们的研究中，我们将DrAttack与白盒攻击（GCG（Zou等人，2023年）、AutoDan-a（Liu等人，2023年）和AutoDan-b（Zhu等人，2023年））和黑盒攻击（PAIR（Chao等人，2023年）、DeepInception（Li等人，2023年））进行了比较。为完整起见，在白盒环境下，将应用转移攻击来越狱闭源 LLM。令牌在 Vicuna 7b 上进行优化，并转移到黑盒模型中。


## Results
![image.png](/static/img/9c7fe05979f2c14cb25594e09ed7ffc3.image.png)

![image.png](/static/img/6abea96d31236dd9b83d3ca4766b345b.image.png)
### Attacking defended models
我们针对 LLM 采用了三种防御策略，以进一步验证 DrAttack 对受防御模型的有效性。
- OpenAI Moderation Endpoint
- Perplexity Filter
- RA-LLM

![image.png](/static/img/bf2512053a8eb25c7fbf23fcc9e0aaff.image.png)
### Ablation Study
- 隐藏恶意的分解与重构

    分析了开源 LLM Llama2 和 Vicuna 的以下标记概率，以展示我们的方法如何隐藏恶意意图。通过平均拒绝字符串中前五个标记的概率，我们比较了对原始对抗性提示和 DrAttack 生成的提示的响应。图 7(a)中的结果表明，虽然原始提示总是会导致拒绝标记（例如 "对不起......"），但经过我们的方法处理的提示在面对越狱提示时会显著降低这种可能性。
- ICL 重建中的更好范例，更高的 ASR

    设计了三种类型的语境：语义无关的语境使用无关的组装演示；语义相关的语境通过使每个子句都可替换来获得无害提示；语义相似的语境通过限制可替换的子句，在替换从句的同时保留提示主句，从而获得无害提示。
    - semantic-irrelevant context uses irrelevant assembling demo;
    - semantic-relevant context gets harmless prompt by making every sub-prompts replaceable;
    - semantic-similar context gets harmless prompt by restricting replaceable subprompts

![image.png](/static/img/25237649ee5c593a0b2f4eb2c957a193.image.png)

![image.png](/static/img/948e1c07fa9cb83df3fd5de3d71c6d3c.image.png)
# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：

    1. 创新: 论文提出了一种新的对大型语言模型（LLM）进行“越狱”攻击的方法，称为DrAttack。它通过将恶意提示分解为子提示，然后通过上下文学习隐式地重构这些子提示，有效地隐藏了恶意意图。
    2. 独特性: DrAttack利用了语义分解和重构的技术，旨在欺骗LLM的安全机制。这种方法区别于传统的基于后缀、前缀或混合内容优化的攻击方法。
    3. 学到的关键点: 该方法揭示了LLM在处理分解和重构的复杂输入时的安全漏洞，强调了在设计LLM安全机制时需要考虑更复杂的攻击策略。
2. 论文中存在的问题及改进建议：

    1. 存在问题: 研究主要集中在攻击方法的有效性，可能没有充分探讨该技术的潜在负面影响，如被恶意利用的风险。
    2. 改进建议: 未来的研究应该更加深入地评估该技术的双重用途性，并探索如何通过设计更先进的防御机制来减轻这些风险。
3. 基于论文的内容和研究结果，提出的创新点或研究路径：

    1. 研究路径一: 探索DrAttack在不同类型的LLM中的应用，并评估其在各种模型架构和训练数据集上的效果。
    2. 研究路径二: 研究使用DrAttack技术对LLM进行强化训练，以提高其抵御复杂攻击的能力。
    3. 研究路径三: 开发和评估新的防御机制，这些机制能够识别和防御基于语义分解和重构的攻击策略。
4. 为新的研究路径制定的研究方案：

    1. 研究方案一:
        1. 研究方法: 在多种LLM上实施DrAttack，包括不同大小、不同训练数据集的模型。
        2. 步骤: 测试DrAttack在各模型上的效果，分析不同模型架构对攻击成功率的影响。
        3. 期望结果: 确定DrAttack在不同LLM上的适用性和效果差异。
    2. 研究方案二:
        1. 研究方法: 使用DrAttack作为训练工具，对LLM进行压力测试和强化训练。
        2. 步骤: 通过反复应用DrAttack，训练LLM识别和抵抗此类攻击。
        3. 期望结果: 开发出更加健壮的LLM，能够有效识别和防御复杂攻击。
    3. 研究方案三:
        1. 研究方法: 设计并测试新的防御机制，专门针对基于语义分解和重构的攻击。
        2. 步骤: 开发新算法，分析其在实际环境中对抵御DrAttack的有效性。
        3. 期望结果: 引入有效的防御策略，提高LLM在面对复杂攻击时的安全性。
:::

# Others