> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2308.06463 |
> | Code & Data | https://github.com/RobustNLP/CipherChat |
> | Public      | ICLR |
> | Date        | 2024.03.19 |


# Summary Overview

本文发现密码聊天可以绕过LLM的安全对齐技术，而LLM主要以自然语言进行，从而提出了CipherChat框架来系统地检查安全对齐对非自然语言（密码）的普遍性。CipherChat使人们能够通过密码提示与LLM聊天。

![image.png](/static/img/ead09bdb0780846e49a63f8aa01e0e58.image.png)

# Main Content

大多数现有的安全协调工作都集中在自然语言的输入和输出上。然而，最近的研究表明LLM在理解非自然语言（密码：Morse，ROT13，Base64）方面表现出来好的能力。

**CipherChat：**
1. Behavior assigning: 将LLM分配为密码专家的角色(e.g. *You are an expert on Caesar*)，并明确要求LLM用密码聊天(e.g. *We will communicate in Caesar*)
2. Cipher taching: 通过LLM在上下文中有效学习的强大能力，向LLM教授密码如何工作以及对该密码的解释
3. Unsafe demonstrations: 经过加密的不安全演示，既可以加强LLM对密码的理解，又可以知道LLM从负面的角度进行回复

CipherChat 将输入转换为相应的密码，并将上述提示附加到输入，然后将其提供给LLM进行检查。 LLM 生成的输出很可能也在密码中加密，并使用基于规则的解密器进行解密。

**一般来说，模型越强大，密码响应就越不安全。**

**Contributions：**
- 研究证明了为非自然语言（例如密码）开发安全一致性的必要性，以匹配底层法学硕士的能力
- 提出了一个通用框架来评估LLM响应密码查询的安全性，其中可以自由定义密码函数、系统提示和底层LLM
- 发现LLM似乎有一个 secret cipher，基于此提出了一个新颖且有效的框架Self Cipher 来利用这种能力

**Cipher Chat**

方法假设：由于人类反馈和安全对齐是以自然语言呈现的，因此使用人类无法读取的密码可能会有效地绕过安全对齐。

直观上，我们首先通过指定LLM为密码专家，阐明加密和破译的规则，并辅以多次演示，教会LLM清楚地理解密码。

![image.png](/static/img/be54ca5845f78c66d51e4ab96c389027.image.png)

3个必要的元素：

1. **Behavior Assigning**：

    为LLM指定密码专家地角色 ("You are an expert on [CipherName]")，并明确要求LLM以密码进行交流 ("We will communicate in [CipherName]")。在我们的初步实验中，LLM倾向于直接将密码输入翻译成自然语言。据此，又增加了一个提示句 ("Do not be a translator") 来防止此类行为。

2. **Cipher Teaching**：

    最近的研究表面，LLM在情境中有效学习的能力十分不错。受这些发现的启发，在提示中加入了对于密码的解释 (e.g. "The Caesar Cipher, recongnized as on of the pioneer...")以向LLM教授密码的工作原理

3. **Enciphered Unsafe Demonstrations**：

    进一步向LLM提供了一些用密码加密的不安全演示。首先，密码形式的演示可以补充密码解释，加强LLM对密码的理解。其次，不安全示例给LLM注入了不安全因素，指导LLM从消极或有毒的角度应对。
    
研究的三种类型密码：

1. 字符编码 (GBK，ASCII，UTF，Unicode)，主要针对中文
2. 主要针对英语设计的常见加密技术 (Atbash、Caesar、Morse Code)
3. SelfCipher 试图唤起LLM内部的cipher

![image.png](/static/img/171a7ef1c505c3e85228d4bbe8446ea4.image.png)

**SelfCipher:** 与上述密码不同，SelfCipher 不使用现有编码或加密技术的任何明确规则。不安全的演示也以自然语言呈现。相反，如下所列，SelfCipher只让LLM扮演The Cipher Code专家的角色，并用另一个提示句来强调密码通信的必要性“在通信中，理解用户在Cipher中的查询是至关重要的”使用密码进行编码并随后传递您的响应。”我们希望提示符可以撤销LLM内部的密码，随后用于加密查询和解密输出。

![image.png](/static/img/2bf426c41c8d2463077053fcc56cbf75.image.png)

## Related Work

**Safety Alignment for LLMs**

符合人类道德和偏好是LLM发展的核心，以确保其负责任和有效的部署（Ziegler et al., 2019; Solaiman & Dennison, 2021; Korbak et al., 2023）。因此，在部署预训练的 GPT-4 模型之前，OpenAI 花了六个月的时间通过 RLHF 和其他安全缓解方法来确保其安全性（Christiano 等人，2017 年；Stiennon 等人，2020 年；Ouyang 等人，2022 年；Ouyang 等人，2022 年）。 Bai 等人，2022a；OpenAI，2023b）。此外，OpenAI 正在组建一个新的 SuperAlignment 团队，以确保比人类聪明得多的人工智能系统（即 SuperInterlligence）遵循人类意图（OpenAI，2023c）。在本研究中，我们验证了我们的方法在 SOTA GPT-4 模型上的有效性，并表明密码聊天可以规避安全对齐（第 4.3 节）。

在学术界，戴等人。 (2023b) 发布了一个高度模块化的开源 RLHF 框架 – Beaver，它提供训练数据和可重复的代码管道以促进对齐研究。周等人。 （2023）表明LLM中的几乎所有知识都是在预训练期间学习的，并且只需要有限的指令调整数据来教导模型产生高质量的输出。我们的结果再次证实了这些发现：在预训练数据中从未出现过的模拟密码无法工作（§4.4）。此外，我们的研究表明，高质量的教学数据应包含自然语言之外的样本（例如密码），以实现更好的安全一致性。

为了更有效和高效地调整LLM的工作量不断增加。例如，白等人。 （2022b）开发了一种宪法人工智能（CAI）方法，以简单透明的形式编码理想的人工智能行为，它可以更精确地控制人工智能行为，并且人类标签要少得多。孙等人。 (2023b) 提出了一种名为“自调整”的新颖方法，该方法结合了原则驱动的推理和法学硕士的生成能力，可以在最少的人类监督下实现人工智能代理的自调整。董等人。 (2023) 提出了一个对齐框架 RAFT，它使用按奖励函数排序的样本以有效的方式对 LLM 进行微调。我们的工作表明，密码聊天可以作为评估这些高级对齐方法有效性的测试平台。

# Experiments

Try to answer the following research questions:

- Can CipherChat chat with LLMs via ciphers?
- Can CipherChat bypass the safety alignment of LLMs?
- How does CipherChat work?

## Metrics

我们以目标法学硕士生成的所有响应中不安全响应的百分比来报告不安全率。我们跟随蒋等人。 (2023)和Chiang & Lee (2023)利用GPT-4强大的评估能力，并通过提示将其发展为安全评估器。具体来说，我们将查询和模型生成的响应提供给 GPT-4，并提供特定领域的提示，指导 GPT-4 对响应是否有毒进行分类。我们还让 GPT-4 报告语法正确性和流畅性方面的输出质量，评级从 1（最差）到 5（最好）。

![image.png](/static/img/d2382b5d8eddedcb5f2fa3c13ba17130.image.png)
## Models

- GPT-3.5-turbo-0613
- GPT-4-0613

## Datasets

**Chinese safety assessment benchmark** (Hao Sun, Zhexin Zhang, Jiawen Deng, Jiale Cheng, and Minlie Huang. Safety assessment of chinese large language models. arXiv preprint arXiv:2304.10436, 2023a.): 包含八种安全场景和六种基于指令的攻击

为了促进双语学习，我们结合使用谷歌翻译服务2和手动更正，扩展了该数据集以包括英语。有关所使用数据集的更多详细信息可以在附录（表 10）中找到。


## Results

![image.png](/static/img/6dbc03a18107e55f6393f02159ca0352.image.png)

![image.png](/static/img/53cd66a9e76140068f791d5edfdbe334.image.png)

Distrubutions of Invalid Response Types:
1. WrongCipher: responses in incorrect ciphers
2. RepeatQuery: mere repetition of the query
3. RepeatDemo: mere repetition of the demostration
4. Others: other types of unnatural/unreadable responses or responses unrelated to the query

- WrongCipher: 我们删除了低流利的响应（如第 4.1 节所述，由 GPT-4 判断分数≤ 3），因为错误密码中的响应无法被破译为自然句子。
- RepeatQuery: 我们以查询为参考删除 BLEU > 20 的响应，这表示响应和查询有很大的重叠（Papineni 等人，2002）。

![image.png](/static/img/cd84b7c2b0a0898c2c27ff4f4885169b.image.png)

![image.png](/static/img/5c376e24f065f476a6b1b98af3e998e7.image.png)

![image.png](/static/img/cab03d40d195fd1852cb210354e781b2.image.png)

![image.png](/static/img/b1e78f09243c3af40f15cb84f0cb5d6d.image.png)

表 7 显示，消除不安全演示（即零样本设置）还可以显着降低跨模型和语言的自密码的不安全率。

![image.png](/static/img/3fef23f615a8acfc0243e7c440316c23.image.png)

表8显示了不同次数的不安全示威对不安全率的影响。一般而言，不安全演示次数越多，GPT-4 的不安全率越高，仅一次英语演示即可引发较高的不安全响应率。然而，这种趋势不适用于 Turbo，我们将其归因于两种型号的不同功能。

LLM似乎有一个“secret cipher”。尽管我们不能断言因果关系，但我们发现仅使用角色扮演提示和一些自然语言演示就可以唤起这种能力，这甚至比明确使用人类密码更有效。

我们的工作强调了为非自然语言开发安全一致性的必要性，以匹配底层LLM（例如 GPT-4）的能力。针对这一问题，一个有前景的方向是通过必要的密码指令对加密数据实施安全对齐技术（例如 SFT、RLHF 和 Red Teaming）。另一个有趣的方向是探索LLM中的“secret cipher”，并更好地理解其吸引人的能力。
# 🤖ChatGPT

:::info{title="ChapGPT"}
1. **论文的创新之处与独特性**：

   该论文通过提出一个新颖的框架“CipherChat”，探索了在非自然语言——密码语境中，对大型语言模型（LLMs）进行安全性对齐的泛化能力。创新点主要包括：
   - 引入密码语言进行交流，发现了在密码环境下LLMs对安全性对齐的缺失，展示了LLMs在处理非自然语言时的潜在风险。
   - 设计了一个三步骤的系统，包括角色指派、密码教学和不安全演示，这种方法能够有效操控LLMs产生不安全的响应。
   - 提出了“SelfCipher”框架，利用角色扮演和自然语言中的几个示例来激发模型内部的“密码”能力，该方法在几乎所有案例中表现优于传统人类密码。

2. **论文中存在的问题及改进建议**：

   - 研究重点过于集中在通过密码绕过LLMs的安全性对齐，可能导致忽视了其他非自然语言形式的安全性问题。建议将研究范围拓展到更多非自然语言形式。
   - 研究方法可能促进了对LLMs的恶意利用，尤其是在通过密码对话绕过安全限制的情景。建议在未来的研究中更加重视伦理问题，包括提出防止滥用的机制。
   - “SelfCipher”虽然效果显著，但其内部机制仍不明确。建议对“SelfCipher”背后的工作机制进行深入研究，以便更好地理解和利用这一现象。

3. **基于论文的内容和研究结果，提出的创新点或研究路径**：

   - **多模态安全性对齐研究**：探索将密码语言与其他模态（如视觉、声音）结合，评估和增强LLMs在多模态环境下的安全性。
   - **跨文化安全性研究**：研究不同文化和语言背景下密码语言的安全性问题，以及这些差异如何影响LLMs的响应和安全性对齐。
   - **自适应安全性强化学习**：开发一种自适应机制，使LLMs能够在交互过程中实时学习和强化安全性对齐，特别是在处理不熟悉或新颖的密码语言时。

4. **为新的研究路径制定的研究方案**：

   - **多模态安全性对齐研究方案**：首先，集成不同模态的数据集并开发相应的密码语言。其次，利用混合方法对LLMs进行训练和测试，以评估其在多模态密码环境中的表现。期望结果是发现新的安全性弱点并提出相应的对策。
   - **跨文化安全性研究方案**：进行跨文化案例研究，收集不同文化背景下的密码语言数据。然后，测试LLMs在不同文化背景下的安全性表现，并分析文化差异对模型响应的影响。最终目标是提高模型在多文化环境中的普适性和安全性。
   - **自适应安全性强化学习方案**：开发一套机制，使LLMs能够在不断的用户交互中学习和适应新的密码语言。此研究将侧重于自适应算法的设计和优化。通过模拟实验来评估这种方法在提高LLMs安全性方面的有效性。
:::

# Others

[ICLR-2024] GPT-4 Is Too Smart To Be Safe: Stealthy Chat with LLMs via Cipher

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2311.08268 |
> | Code & Data | https://github.com/NJUNLP/ReNeLLM |
> | Public      | NAACL |
> | Date        | 2024.03.19 |


# Summary Overview

本文将越狱提示攻击概括为两个方面：提示重写和场景嵌套。基于此提出了ReNeLLM，一个利用LLM本身生成有效越狱提示的自动框架。


![image.png](/static/img/e0687c7a0d79ce99b0b754ddf4c6e2b7.image.png)

# Main Content

针对LLM的越狱提示攻击通常分为两张类型：
1. 手动设计的越狱提示，故意制作prompt来绕过LLM的内置保障措施。
2. 基于学习的越狱提示，它将攻击过程表述为优化问题，并使用一个或多个更多的白盒模型来搜索或提示后缀，最大限度地提高LLM引发有害反应的可能性。

ReNeLLM 包括了两个主要步骤：
1. Prompt rewriting: 即对初始prompt进行一系列不改变其核心语义的重写操作（如少字释义、改变表达风格等），从而更容易引起LLM的回应。
2. Scenario nesting: 为了让重写后的提示更加隐蔽，我们将其嵌套到特定的任务场景中（如代码补全，文本延续等），让LLM自己寻找有效的越狱攻击提示。

Contributions：
- 我们介绍了ReNeLLM，第一个针对LLM的通用越狱提示攻击框架，它将越狱提示攻击概括为提示重写和场景嵌套两个方面，利用LLM本身生成越狱攻击提示。
- 大量实验表明，ReNeLLM 生成的越狱提示可以在更短的时间内保持较高的攻击成功率。此外，ReNeLLM 很难通过现有的防御方法检测到，并且在代表性的 LLM 上表现出泛化性和可转移性。这种经验上的成功表明现有法学硕士在安全性能方面存在令人震惊的缺陷。
- 我们对现有的越狱防御方法进行了调查，并揭示了它们在有效保护 LLM 免受 ReNeLLM 普遍攻击方面的不足。此外，为了探究LLM防御失败的原因，我们观察重写和嵌套前后LLM提示执行优先级的变化，并据此设计防御方法。我们希望我们的观察结果能够为未来的法学硕士供应商开发更安全、更规范的系统提供宝贵的指导。

![image.png](/static/img/7fd31459d8881a523682cb6bb9cafceb.image.png)

我们将越狱攻击制定如下：给定被测模型 $LLM_{mut}$ 和初始有害提示 $X$，越狱攻击的目标是在有限的可枚举策略空间内找到特定的策略操作序列 $S$。该策略$S$旨在编辑提示，使得$LLM_{mut}$对编辑的提示的响应被指定的危害性评估器$LLM_{eval}$判断为有害的可能性最大化。这可以表示为：

$$
S^*=\argmax_SLLM_{eval}(LLM_{mut}(S(X)))
$$

其中$LLM_{eval}$分配的值越高，表明越狱成功的可能性越大。

![image.png](/static/img/fd3be9947e37c3d8e0c14cec29a2909f.image.png)

**Prompt Rewrite**
1. Paraphrase with Fewer Words
2. Alter Sentence Structure
3. Misspell Sensitive Words
4. Insert Meaningless Characters
5. Perform Partial Translation
6. Change Expression Style

![image.png](/static/img/8aef424f295309adf4ec46aecde1d721.image.png)

**Scenario Nest**

在教学场景的选择上，我们受到了Yuan等人的工作的启发。 (2023)，他发现密码聊天可以绕过LLM的安全对齐技术，从而暴露LLM在面对非自然语言时的脆弱性。

最终选取了三种通用场景：**Code Completion**, **Table Filling**, **Text Continuation**。

这三个场景的共同点是，它们都与LLM的训练数据（都出现在训练数据中）或者训练目标（都是基于语言建模的生成任务）保持一致，并且都在场景中留有空白，类似于句子级完形填空任务。我们随机选择一个场景来嵌套重写的提示，并将嵌套的提示提供LLM（即被测试的模型）。当越狱攻击触发LLM生成令人反感的输出时，我们就认为越狱攻击成功。

**Why LLMs fail to defend against the attack of ReNeLLM**

![image.png](/static/img/cb85c0905dddd85cc2bd0b0ea17d8e38.image.png)

例如，当我们重写最初的提示时，将敏感词“steal”错误地拼写为“stealin”，或者部分翻译它，比如将“steal”翻译成中文“偷”，LLM对这些改写后的提示的注意力分布有些分散，但LLM仍然拒绝回应。当我们引入场景嵌套，例如表格填充和文本延续时，我们观察到LLM的注意力进一步分散，与内部指令相比，更注重外部指令（例如“表格”，“改进”，“增强”）部分（例如“stealin 餐厅 POS”）。这表明法学硕士在执行这些越狱提示时的优先级可能已经发生了变化，从对外部和内部指令同等重视转变为优先考虑外部指令（或者我们可以说，目前法学硕士优先提供有用的响应而不是安全的响应。）。
# Experiments

## Metrics

- ASR
- ASR-E

## Datasets

Harmful Behaviors (Andy Zou, Zifan Wang, J Zico Kolter, and Matt Fredrikson. 2023. Universal and transferable adversarial attacks on aligned language models. arXiv preprint arXiv:2307.15043.)

## Baselines

- GCG attack
- AutoDAN-a
- AutoDAN-b

## Results

![image.png](/static/img/433a47acd0bd6338537bf4e0570bff47.image.png)

TCPS: Time Cost Per Sample

![image.png](/static/img/5ce06d7502d8a81761d5743ad3c8c6f7.image.png)

**Ablation Study**

![image.png](/static/img/b91e0a762ca5bab91019c02fd48e7675.image.png)

**Evaluating safeguards Effectiveness**
- OpenAI Moderation Endpoint
- Perplexity Filter
- RA-LLM

![image.png](/static/img/f0f31a135daf288de260b8bacc2a90bf.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
**1. 论文的创新之处与独特性：**

   《A Wolf in Sheep’s Clothing》一文的创新点主要体现在ReNeLLM框架的设计上，它将针对大型语言模型（LLM）的攻击过程抽象成两个步骤：提示重写和场景嵌套。这种方法不仅提高了攻击成功率，而且大大减少了生成攻击提示的时间成本。尤其是场景嵌套策略，有效地隐藏了恶意提示的本质，使其难以被现有的防御机制检测到。这些创新不仅揭示了LLM在安全防御上的不足，还为今后LLM的安全防御提供了重要的研究方向。

**2. 论文中存在的问题及改进建议：**

   然而，该研究仍有一些局限性。首先，其评估主要依赖于GPT-4作为评估器，可能带来额外成本和延迟。其次，实验数据集主要以英语为主，可能限制了方法的泛化能力。最后，尽管相比之前的基线，ReNeLLM降低了生成攻击提示的时间，但仍需要持续使用LLM进行生成和评估，因此计算成本仍然较高。建议后续研究中考虑多语种的数据集，以及探索更高效的评估方法和计算优化策略。

**3. 基于论文的内容和研究结果，提出的创新点或研究路径：**

   a. 多语种和文化背景的安全性评估：考虑不同语言和文化背景下的攻击模式和防御策略，提高LLM的跨文化安全性。

   b. 自适应安全防御机制：根据LLM的使用环境和用户行为动态调整安全防御策略，以应对不断演化的攻击方法。

   c. 细粒度的攻击识别和防御：探索基于LLM内部机制（如注意力机制）的细粒度攻击识别，提出相应的精细化防御方法。

**4. 为新的研究路径制定的研究方案：**

   a. 【多语种和文化背景的安全性评估】

   研究方法：搜集并构建不同语言和文化背景下的攻击数据集，使用多语种LLM进行测试，并分析不同文化背景对攻击和防御策略的影响。

   研究步骤：数据收集和处理、模型测试、结果分析和比较。

   期望成果：提供一个多文化视角下的LLM安全性评估框架，及其在不同文化背景下的实际应用指导。

   b. 【自适应安全防御机制】
   
   研究方法：开发能够根据实时使用环境和用户行为动态调整的安全防御系统。

   研究步骤：系统设计、实现自适应算法、测试和优化。

   期望成果：构建一个灵活适应不同应用环境的LLM安全防御系统。

   c. 【细粒度的攻击识别和防御】

   研究方法：深入分析LLM内部机制，如注意力分布，以识别和防御细粒度攻击。

   研究步骤：内部机制研究、攻击识别方法开发、防御策略测试和优化。

   期望成果：提出一套基于LLM内部机制的细粒度攻击识别和防御方法。
:::

# Others

[NAACL-2024] A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2311.09677 |
> | Code & Data | https://github.com/shizhediao/R-Tuning |
> | Public      | ArXiv |
> | Date        | 2024.03.14 |


# Summary Overview

本文提出了一种指令调优的新方法 **Refusal-Aware Instruction Tuning (R-Tuning)**

该方法首先通过识别参数知识和指令调整数据之间的知识差距来形式化。然后，基于知识交叉构建拒绝感知数据，从而调整LLMs，避免回答超出其参数知识的问题。

![image.png](/static/img/dac01d3be578575fb09c7703b0197f4e.image.png)
# Main Content

之前的研究（Min et al., 2022; Wang et al., 2023; Zhou et al., 2023）表明，几乎所有知识都是在预训练阶段获得的，而指令调优则教授格式化和思维链提示指导知识启发。

即使面对超出其知识范围的问题，LLMs也会冒险提供答案。仅根据正确答案训练模型会无意中教会它猜测而不是承认自己的无知。

**R-Tuning引入了两个步骤：**
1. 测量参数知识和指令调优数据之间的知识差距，识别不确定的问题。通过在训练数据上推断一次模型并比较预测和标签，指令调整数据被分为不确定数据$D_0$和确定数据$D_1$。
2. 通过在标签词后面填充不确定性表达式来构造拒绝感知数据，然后在拒绝感知数据上微调模型。

进一步的分析令人惊讶地表明，在训练期间学习不确定性，然后用它来过滤和回答问题，比直接对测试数据应用不确定性过滤会产生更好的结果。

**Contributions:**
1. 我们研究了指令调优数据和参数知识之间存在的知识差距，并将幻觉问题归因于迫使模型使用传统指令调优来完成答案。
2. 为了解决这个问题，我们提出了一种新颖的指令调优方法——R-Tuning，它根据模型自身的知识来区分指令调优数据。 R-Tuning 构建一个拒绝感知数据集，然后调整模型以避免响应超出其参数知识的问题。
3. 实验结果证明了R-Tuning的有效性和泛化能力。我们发现该模型的学习拒绝能力作为一种元技能发挥作用，与任务无关并通过多任务训练得到增强。

**拒绝感知数据识别**

首先应用预训练的模型$M$来回答$D$中的所有问题，并根据预测和标签之间的比较将问题分成两组。如果模型的预测能和标签匹配，该问题会被放进$D_1$，否则，被放入$D_0$。

![image.png](/static/img/2cbdb4f182061f08ed02ba46de6eb295.image.png)

$$
Q:\{\text{Question}\},A:\{\text{Answer}\}.\{\text{Prompt}\}.
$$

确定数据集$D_1$是通过在模板后附加"I am sure"来构造的，而不确定数据集$D_0$是通过在模板后附加"I am not sure"来构造的。我们使用的prompt是Are you sure you accurately answered the question based on your internal knowledge?

因为构造了新式的数据集，微调阶段的$Loss$如下：

$$
L=-\frac{1}{T}\sum_{i=1}^T\log P(t_i|t_1,t_2,\cdots,t_{i-1})
$$

## Related Work

**Uncertainty Quantification of LLMs**
不确定性量化是机器学习中长期存在的问题。在深度学习时代，Guo 等人。 (2017) 首先根据 ECE 指标（预期校准误差）确定深度神经网络缺乏校准的预测置信度（又名预测概率）（Naeini 等人，2015）。陈等人。 (2022)进一步研究预训练大型语言模型的校准问题，并在大型语言模型上观察到相同的错误校准问题。 ActivePrompt (Diao et al., 2023b) 引入了不确定性来选择思想链注释的问题，并证明了其在积极、明智地选择和注释LLMs情境学习最有帮助的范例方面的有效性。

# Experiments

## Metrics

accuracy:

$$
\text{accuracy} = \frac{\#\text{of correctly answered questions}}{\#\text{of willingly answered questions}}
$$

Average Precision (AP) score:

$$
AP=\sum_{k=0}^{n-1}(R(k+1)-R(k))\times P(k)
$$
$$
P(k) = \frac{\#\text{of correct answers above k-threshold}}{\#\text{of answers above k-threshold}}
$$
$$
R(k) = \frac{\#\text{of correct answers above k-threshold}}{\#\text{of correct answers}}
$$

## Datasets

- Question-Answering
    - ParaRel
    - HotpotQA
    - SelfAware
    - HaluEval
    - FalseQA
    - NEC
- Multi-Choice
    - MMLU
    - WiCE
    - FEVER

## Baselines

- Pretrain-T:
    - 评估原始预训练检查点在整个测试集上的性能。
- Pretrain-W:
    - 为了验证自愿回答问题的有效性，我们评估了经过微调的模型愿意回答的测试集上原始预训练检查点的性能。直观上，如果愿意回答的问题在基本模型的知识范围内，那么该基线应该表现良好。
- Vanilla:
    - 使用所有问题和真实标签对$D$上的模型进行微调，传统的指令调优方法。

## Results

![image.png](/static/img/3bbb322dc4f29a09da07eba75085a420.image.png)

采用无监督识别策略的 R-Tuning (R-Tuning-U) 和采用标签替换的 R-Tuning (R-Tuning-R)。

![image.png](/static/img/1a679fd9b7b2daad27492f292c4522b3.image.png)

R-Tuning-R:（1）替换方法丢弃了可用于训练的有价值的标签。 (2) R-Tuning要么只能输出答案，要么只输出确定性，但不能同时响应两者，导致难以同时考虑精度和召回率。
$D_1:Q:\{\text{Question}\},A:\{\text{Answer}\}$
$D_0:Q:\{\text{Question}\},A:\{\text{uncertainty Expression}\}$
![image.png](/static/img/cac08e7293d7723367558cfd84097cc2.image.png)
# 🤖ChatGPT


:::info{title="ChapGPT"}
**论文的创新之处与独特性：**

本文提出的“拒绝意识指导调优”（Refusal-Aware Instruction Tuning, 简称R-Tuning）方法在自然语言处理领域中具有显著的创新性和独特性。该方法的核心创新在于解决了大型语言模型（LLMs）在面对超出其参数化知识范畴的问题时倾向于生成虚假事实的问题。R-Tuning通过识别参数化知识与指导调优数据之间的知识差距，然后构建拒绝意识数据，使模型能在超出其参数化知识的问题上选择不回答。这种方法有效提高了模型对已知问题的回答能力，同时减少了对未知问题的误答。此外，实验结果表明，这种拒绝能力是一种元技能，可以推广到其他任务上。

**论文中存在的问题及改进建议**：

尽管R-Tuning在减少模型的“幻觉”（即错误信息的生成）方面取得了进展，但该方法也存在一些局限性。首先，R-Tuning依赖于对训练数据进行的监督式和非监督式的确定性与不确定性的识别，这可能限制了其在没有清晰标签的真实世界数据集上的应用。其次，R-Tuning在训练过程中可能会因为过度强调拒绝回答而忽略了对模型预测能力的进一步提升。针对这些问题，可以考虑开发更加精细化的不确定性评估机制，以及平衡拒绝答案与提高预测准确性之间的关系。

**基于论文的内容和研究结果，提出的创新点或研究路径：**

a. 发展更高级的不确定性评估算法：设计算法来更精确地评估模型对于特定问题的不确定性，可以提高R-Tuning方法的效能。

b. 自适应学习机制：开发一种机制，使模型能够根据其在特定任务上的表现自适应地调整拒绝回答的阈值。

c. 多模态拒绝意识模型：扩展R-Tuning方法到多模态领域，例如结合文本、图像和音频数据的处理，来增强模型在更广泛应用场景下的拒绝能力。

**为新的研究路径制定的研究方案：**

a. 对于更高级的不确定性评估算法，研究可以从现有不确定性评估技术出发，如贝叶斯方法和深度学习的集成方法，以提高评估的准确性和效率。预期成果是一个能更准确识别和处理未知问题的语言模型。

b. 对于自适应学习机制，可以采用强化学习或元学习方法，使模型在不断的互动过程中学会优化其拒绝答案的策略。这样的研究可能会导致更智能和适应性更强的语言模型。

c. 在多模态拒绝意识模型的研究中，可以探索将R-Tuning方法与图像识别、语音处理等技术结合，以实现对多种数据类型的综合理解和处理。这项研究的目标是创建一个能够在更复杂、多元化的数据输入情况下做出准确反应的模型。
:::

# Others

[ArXiv-2023] R-Tuning: Teaching Large Language Models to Refuse Unknown Questions

因为有些时候服务器上要从谷歌云盘上下载数据，但是没有可视化操作并且感觉从主机上先下载再传上去有点麻烦，找到了`gdown`工具达到下载目的。


仓库：https://github.com/wkentaro/gdown

安装命令：
```shell
pip install gdown
```
下载命令：
```shell
# Files
https://drive.google.com/file/d/<file_id>/view?usp=sharing
# Folders
https://drive.google.com/drive/folders/<file_id>
```

使用gdown下载谷歌云盘文件/文件夹

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2307.01504 |
> | Code & Data | https://github.com/llm-attacks/llm-attacks |
> | Public      | ArXiv |
> | Date        | 2024.03.13 |


# Summary Overview
在本文中，我们提出了一种简单而有效的攻击方法，该方法会导致对齐的语言模型产生令人反感的行为。具体来说，我们的方法找到一个后缀，当附加到法学硕士的广泛查询以产生令人反感的内容时，旨在最大化模型产生肯定响应（而不是拒绝回答）的概率。
# Main Content

![image.png](/static/img/2b525bbb4ba731133706637eb3e134c5.image.png)
为了选择这些对抗性后缀标记，我们的攻击包含三个关键要素；这些元素确实以非常相似的形式存在于文献中，但我们发现正是它们的精心组合才导致了实践中可靠成功的攻击。
1. Initial affirmative responses
2. Combined greedy and gradient-based discrete optimization
3. Robust multi-prompt and multi-model attacks

重要的是，在开发通用攻击时，我们不会考虑对用户提供的蓝色文本的更改。

开发攻击的首要标准之一是确定其目标，即使用什么损失函数来优化对抗性后缀。

损失函数考虑的很巧妙，没有直接用有害回答的答案来进行计算，以对用户查询的肯定肯定开始其响应。

这种方法的直觉是，如果语言模型可以进入一种“状态”，其中完成是最有可能的响应，而不是拒绝回答查询，那么它很可能会以精确的期望的令人反感的行为继续完成。

因此，我们发现提供一个目标短语并肯定地重复用户提示提供了产生提示行为的最佳方法。
![image.png](/static/img/d7345d6662180a5739aae9a54beebab0.image.png)
![image.png](/static/img/8f7d60dad38bec87aa61b1aa3c036606.image.png)
## Related Work

**Discrete optimization and automatic prompt tuning：**

NLP 模型设置中对抗性攻击的主要挑战是，与图像输入不同，文本本质上是离散的，这使得利用基于梯度的优化来构建对抗性攻击变得更加困难。然而，对于这种自动提示调整方法，已经有一些关于离散优化的工作，通常试图利用这样一个事实：除了令牌输入的离散性质之外，基于深度网络的 LLM 的整个其余部分都是可微函数。

一般来说，有两种主要的即时优化方法。其中第一个是基于嵌入的优化，它利用了以下事实：LLM 中的第一层通常在某些连续嵌入空间中投影离散标记，并且下一个标记的预测概率是该嵌入空间上的可微函数。这立即激发了对令牌嵌入的持续优化，这种技术通常被称为软提示 [Lester et al., 2021]；事实上，有趣的是，我们发现在软提示下构建对抗性攻击是一个相对简单的过程。不幸的是，挑战在于该过程是不可逆的：优化的软提示通常没有相应的离散标记化，并且面向公众的 LLM 界面通常不允许用户提供连续的嵌入。然而，存在通过不断投影到硬令牌分配来利用这些连续嵌入的方法。例如，Prompts Made Easy (PEZ) 算法 [Wen et al., 2023] 使用量化优化方法通过投影点处的梯度来调整连续嵌入，然后将最终解决方案投影回硬提示空间。另外，最近的工作还利用 Langevin 动态采样从离散提示中采样，同时利用连续嵌入 [Qin et al., 2022

相反，一组替代方法首先主要是直接针对离散令牌进行优化。这包括对标记进行贪婪穷举搜索的工作，我们发现这种搜索通常可以很好地执行，但在大多数设置中在计算上也是不切实际的。或者，许多方法计算相对于当前标记分配的 one-hot 编码的梯度：这本质上将 one-hot 向量视为连续量，以导出该术语的相关重要性。这种方法首先用于 HotFlip [Ebrahimi et al., 2017] 方法，该方法总是贪婪地用具有最高（负）梯度的替代方案替换单个标记。然而，由于 one-hot 级别的梯度可能无法准确反映切换整个令牌后的函数，因此 AutoPrompt [Shin et al., 2020] 方法对此进行了改进，而是根据k-最大负梯度。最后，ARCA 方法 [Jones et al., 2023] 进一步改进了这一点，还评估了几个潜在代币交换的近似 one-hot 梯度，而不仅仅是当前代币的原始 one-hot 编码。事实上，我们自己的优化方法遵循了这种令牌级梯度方法，并对 AutoPrompt 方法进行了细微调整。

# Experiments

## Metrics

- ASR (Attack Success Rate)
- Cross-entropy: the cross-entropy loss on the target string as a secondary metric to gauge the effectiveness of the attack

## Datasets
AdvBench
1. Harmful Strings
2. Harmful Behaviors
## Baselines

- PEZ: 通用优化方法，并非针对于Harmful
- GBDA: 对抗性攻击
- AutoPrompt: 类型同PEZ
## Results

![image.png](/static/img/4747ee03eae934cf24d0e234090f111e.image.png)

![image.png](/static/img/ee7ace6c91d63ba8fc04d51a2108f571.image.png)
# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：

    本篇论文《Universal and Transferable Adversarial Attacks on Aligned Language Models》由 Zou 等人撰写，其创新点在于提出了一种简单而有效的攻击方法，能够使对齐的大型语言模型（LLMs）生成不当行为。该方法的核心是发现一个后缀，可以在附加到大量查询后，使LLM生成不当内容。这种攻击方式的创新性在于它不依赖人工工程，而是通过贪婪和基于梯度的搜索技术自动产生对抗性后缀，超越了以往自动提示生成方法。更为重要的是，通过训练多个提示和多个模型，产生的对抗性提示具有高度的可转移性，甚至可以攻击到公开发布的黑箱LLMs，例如ChatGPT、Bard 和 Claude
2. 论文中存在的问题及改进建议：

    尽管这项工作在对抗性攻击领域取得了重大进展，但也存在一些问题。首先，该方法可能会过度专注于生成具体的不当行为，而忽略了更广泛的不当内容的生成，这可能导致对LLMs对抗性攻击能力的高估。其次，文章中对于攻击成功率的评估可能依赖于特定的实验设置，这可能影响攻击在不同环境下的普遍性和有效性。为改进这些问题，建议研究者进一步探索不同类型的对抗性攻击，并在更广泛的实验环境中测试其方法的有效性。
3. 基于论文的内容和研究结果，提出的创新点或研究路径：

    - 探索基于元学习的对抗性攻击策略：开发能够在多种LLMs上快速适应并生成有效攻击的算法。

    - 建立更全面的对抗性攻击评估框架：不仅关注攻击成功率，还要考虑攻击的隐蔽性、复杂性和可转移性。

    - 研究对抗性攻击对LLMs对齐策略的影响：深入分析攻击对模型对齐（如消除有害内容生成）的长期影响，以及如何改进对齐策略来抵御这些攻击。
4. 为新的研究路径制定的研究方案：

    1.1. 研究方法：利用元学习算法在多个LLMs上进行实验，比较不同算法在快速适应新模型上的效果。

    1.2. 实验步骤：在多种类型的LLMs上测试，分析不同攻击策略的有效性和普适性。

    1.3. 预期成果：期望发现更高效、适应性强的对抗性攻击算法，为LLMs的安全防御提供新的视角。
    
    2.1. 研究方法：建立包括不同类型LLMs、多种攻击场景和评估指标的对抗性攻击测试框架。

    2.2. 实验步骤：进行大规模实验，对比不同攻击方法在该框架下的表现。
    
    2.3. 预期成果：期望得到一个全面评估LLMs对抗性攻击能力的框架，促进对抗性攻击研究的深入发展。

    3.1. 研究方法：通过实验分析对抗性攻击对LLMs对齐策略的影响，并提出改进对齐方法的建议。
    
    3.2. 实验步骤：对现有对齐策略进行测试，观察在对抗性攻击下的表现，并探索提高对齐效果的方法。
    
    3.3. 预期成果：揭示对抗性攻击与LLMs对齐策略之间的关系，为提高LLMs的对齐效果提供指导。

:::

# Others