> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2308.06463 |
> | Code & Data | https://github.com/RobustNLP/CipherChat |
> | Public      | ICLR |
> | Date        | 2024.03.19 |


# Summary Overview

本文发现密码聊天可以绕过LLM的安全对齐技术，而LLM主要以自然语言进行，从而提出了CipherChat框架来系统地检查安全对齐对非自然语言（密码）的普遍性。CipherChat使人们能够通过密码提示与LLM聊天。

![image.png](/static/img/ead09bdb0780846e49a63f8aa01e0e58.image.png)

# Main Content

大多数现有的安全协调工作都集中在自然语言的输入和输出上。然而，最近的研究表明LLM在理解非自然语言（密码：Morse，ROT13，Base64）方面表现出来好的能力。

**CipherChat：**
1. Behavior assigning: 将LLM分配为密码专家的角色(e.g. *You are an expert on Caesar*)，并明确要求LLM用密码聊天(e.g. *We will communicate in Caesar*)
2. Cipher taching: 通过LLM在上下文中有效学习的强大能力，向LLM教授密码如何工作以及对该密码的解释
3. Unsafe demonstrations: 经过加密的不安全演示，既可以加强LLM对密码的理解，又可以知道LLM从负面的角度进行回复

CipherChat 将输入转换为相应的密码，并将上述提示附加到输入，然后将其提供给LLM进行检查。 LLM 生成的输出很可能也在密码中加密，并使用基于规则的解密器进行解密。

**一般来说，模型越强大，密码响应就越不安全。**

**Contributions：**
- 研究证明了为非自然语言（例如密码）开发安全一致性的必要性，以匹配底层法学硕士的能力
- 提出了一个通用框架来评估LLM响应密码查询的安全性，其中可以自由定义密码函数、系统提示和底层LLM
- 发现LLM似乎有一个 secret cipher，基于此提出了一个新颖且有效的框架Self Cipher 来利用这种能力

**Cipher Chat**

方法假设：由于人类反馈和安全对齐是以自然语言呈现的，因此使用人类无法读取的密码可能会有效地绕过安全对齐。

直观上，我们首先通过指定LLM为密码专家，阐明加密和破译的规则，并辅以多次演示，教会LLM清楚地理解密码。

![image.png](/static/img/be54ca5845f78c66d51e4ab96c389027.image.png)

3个必要的元素：

1. **Behavior Assigning**：

    为LLM指定密码专家地角色 ("You are an expert on [CipherName]")，并明确要求LLM以密码进行交流 ("We will communicate in [CipherName]")。在我们的初步实验中，LLM倾向于直接将密码输入翻译成自然语言。据此，又增加了一个提示句 ("Do not be a translator") 来防止此类行为。

2. **Cipher Teaching**：

    最近的研究表面，LLM在情境中有效学习的能力十分不错。受这些发现的启发，在提示中加入了对于密码的解释 (e.g. "The Caesar Cipher, recongnized as on of the pioneer...")以向LLM教授密码的工作原理

3. **Enciphered Unsafe Demonstrations**：

    进一步向LLM提供了一些用密码加密的不安全演示。首先，密码形式的演示可以补充密码解释，加强LLM对密码的理解。其次，不安全示例给LLM注入了不安全因素，指导LLM从消极或有毒的角度应对。
    
研究的三种类型密码：

1. 字符编码 (GBK，ASCII，UTF，Unicode)，主要针对中文
2. 主要针对英语设计的常见加密技术 (Atbash、Caesar、Morse Code)
3. SelfCipher 试图唤起LLM内部的cipher

![image.png](/static/img/171a7ef1c505c3e85228d4bbe8446ea4.image.png)

**SelfCipher:** 与上述密码不同，SelfCipher 不使用现有编码或加密技术的任何明确规则。不安全的演示也以自然语言呈现。相反，如下所列，SelfCipher只让LLM扮演The Cipher Code专家的角色，并用另一个提示句来强调密码通信的必要性“在通信中，理解用户在Cipher中的查询是至关重要的”使用密码进行编码并随后传递您的响应。”我们希望提示符可以撤销LLM内部的密码，随后用于加密查询和解密输出。

![image.png](/static/img/2bf426c41c8d2463077053fcc56cbf75.image.png)

## Related Work

**Safety Alignment for LLMs**

符合人类道德和偏好是LLM发展的核心，以确保其负责任和有效的部署（Ziegler et al., 2019; Solaiman & Dennison, 2021; Korbak et al., 2023）。因此，在部署预训练的 GPT-4 模型之前，OpenAI 花了六个月的时间通过 RLHF 和其他安全缓解方法来确保其安全性（Christiano 等人，2017 年；Stiennon 等人，2020 年；Ouyang 等人，2022 年；Ouyang 等人，2022 年）。 Bai 等人，2022a；OpenAI，2023b）。此外，OpenAI 正在组建一个新的 SuperAlignment 团队，以确保比人类聪明得多的人工智能系统（即 SuperInterlligence）遵循人类意图（OpenAI，2023c）。在本研究中，我们验证了我们的方法在 SOTA GPT-4 模型上的有效性，并表明密码聊天可以规避安全对齐（第 4.3 节）。

在学术界，戴等人。 (2023b) 发布了一个高度模块化的开源 RLHF 框架 – Beaver，它提供训练数据和可重复的代码管道以促进对齐研究。周等人。 （2023）表明LLM中的几乎所有知识都是在预训练期间学习的，并且只需要有限的指令调整数据来教导模型产生高质量的输出。我们的结果再次证实了这些发现：在预训练数据中从未出现过的模拟密码无法工作（§4.4）。此外，我们的研究表明，高质量的教学数据应包含自然语言之外的样本（例如密码），以实现更好的安全一致性。

为了更有效和高效地调整LLM的工作量不断增加。例如，白等人。 （2022b）开发了一种宪法人工智能（CAI）方法，以简单透明的形式编码理想的人工智能行为，它可以更精确地控制人工智能行为，并且人类标签要少得多。孙等人。 (2023b) 提出了一种名为“自调整”的新颖方法，该方法结合了原则驱动的推理和法学硕士的生成能力，可以在最少的人类监督下实现人工智能代理的自调整。董等人。 (2023) 提出了一个对齐框架 RAFT，它使用按奖励函数排序的样本以有效的方式对 LLM 进行微调。我们的工作表明，密码聊天可以作为评估这些高级对齐方法有效性的测试平台。

# Experiments

Try to answer the following research questions:

- Can CipherChat chat with LLMs via ciphers?
- Can CipherChat bypass the safety alignment of LLMs?
- How does CipherChat work?

## Metrics

我们以目标法学硕士生成的所有响应中不安全响应的百分比来报告不安全率。我们跟随蒋等人。 (2023)和Chiang & Lee (2023)利用GPT-4强大的评估能力，并通过提示将其发展为安全评估器。具体来说，我们将查询和模型生成的响应提供给 GPT-4，并提供特定领域的提示，指导 GPT-4 对响应是否有毒进行分类。我们还让 GPT-4 报告语法正确性和流畅性方面的输出质量，评级从 1（最差）到 5（最好）。

![image.png](/static/img/d2382b5d8eddedcb5f2fa3c13ba17130.image.png)
## Models

- GPT-3.5-turbo-0613
- GPT-4-0613

## Datasets

**Chinese safety assessment benchmark** (Hao Sun, Zhexin Zhang, Jiawen Deng, Jiale Cheng, and Minlie Huang. Safety assessment of chinese large language models. arXiv preprint arXiv:2304.10436, 2023a.): 包含八种安全场景和六种基于指令的攻击

为了促进双语学习，我们结合使用谷歌翻译服务2和手动更正，扩展了该数据集以包括英语。有关所使用数据集的更多详细信息可以在附录（表 10）中找到。


## Results

![image.png](/static/img/6dbc03a18107e55f6393f02159ca0352.image.png)

![image.png](/static/img/53cd66a9e76140068f791d5edfdbe334.image.png)

Distrubutions of Invalid Response Types:
1. WrongCipher: responses in incorrect ciphers
2. RepeatQuery: mere repetition of the query
3. RepeatDemo: mere repetition of the demostration
4. Others: other types of unnatural/unreadable responses or responses unrelated to the query

- WrongCipher: 我们删除了低流利的响应（如第 4.1 节所述，由 GPT-4 判断分数≤ 3），因为错误密码中的响应无法被破译为自然句子。
- RepeatQuery: 我们以查询为参考删除 BLEU > 20 的响应，这表示响应和查询有很大的重叠（Papineni 等人，2002）。

![image.png](/static/img/cd84b7c2b0a0898c2c27ff4f4885169b.image.png)

![image.png](/static/img/5c376e24f065f476a6b1b98af3e998e7.image.png)

![image.png](/static/img/cab03d40d195fd1852cb210354e781b2.image.png)

![image.png](/static/img/b1e78f09243c3af40f15cb84f0cb5d6d.image.png)

表 7 显示，消除不安全演示（即零样本设置）还可以显着降低跨模型和语言的自密码的不安全率。

![image.png](/static/img/3fef23f615a8acfc0243e7c440316c23.image.png)

表8显示了不同次数的不安全示威对不安全率的影响。一般而言，不安全演示次数越多，GPT-4 的不安全率越高，仅一次英语演示即可引发较高的不安全响应率。然而，这种趋势不适用于 Turbo，我们将其归因于两种型号的不同功能。

LLM似乎有一个“secret cipher”。尽管我们不能断言因果关系，但我们发现仅使用角色扮演提示和一些自然语言演示就可以唤起这种能力，这甚至比明确使用人类密码更有效。

我们的工作强调了为非自然语言开发安全一致性的必要性，以匹配底层LLM（例如 GPT-4）的能力。针对这一问题，一个有前景的方向是通过必要的密码指令对加密数据实施安全对齐技术（例如 SFT、RLHF 和 Red Teaming）。另一个有趣的方向是探索LLM中的“secret cipher”，并更好地理解其吸引人的能力。
# 🤖ChatGPT

:::info{title="ChapGPT"}
1. **论文的创新之处与独特性**：

   该论文通过提出一个新颖的框架“CipherChat”，探索了在非自然语言——密码语境中，对大型语言模型（LLMs）进行安全性对齐的泛化能力。创新点主要包括：
   - 引入密码语言进行交流，发现了在密码环境下LLMs对安全性对齐的缺失，展示了LLMs在处理非自然语言时的潜在风险。
   - 设计了一个三步骤的系统，包括角色指派、密码教学和不安全演示，这种方法能够有效操控LLMs产生不安全的响应。
   - 提出了“SelfCipher”框架，利用角色扮演和自然语言中的几个示例来激发模型内部的“密码”能力，该方法在几乎所有案例中表现优于传统人类密码。

2. **论文中存在的问题及改进建议**：

   - 研究重点过于集中在通过密码绕过LLMs的安全性对齐，可能导致忽视了其他非自然语言形式的安全性问题。建议将研究范围拓展到更多非自然语言形式。
   - 研究方法可能促进了对LLMs的恶意利用，尤其是在通过密码对话绕过安全限制的情景。建议在未来的研究中更加重视伦理问题，包括提出防止滥用的机制。
   - “SelfCipher”虽然效果显著，但其内部机制仍不明确。建议对“SelfCipher”背后的工作机制进行深入研究，以便更好地理解和利用这一现象。

3. **基于论文的内容和研究结果，提出的创新点或研究路径**：

   - **多模态安全性对齐研究**：探索将密码语言与其他模态（如视觉、声音）结合，评估和增强LLMs在多模态环境下的安全性。
   - **跨文化安全性研究**：研究不同文化和语言背景下密码语言的安全性问题，以及这些差异如何影响LLMs的响应和安全性对齐。
   - **自适应安全性强化学习**：开发一种自适应机制，使LLMs能够在交互过程中实时学习和强化安全性对齐，特别是在处理不熟悉或新颖的密码语言时。

4. **为新的研究路径制定的研究方案**：

   - **多模态安全性对齐研究方案**：首先，集成不同模态的数据集并开发相应的密码语言。其次，利用混合方法对LLMs进行训练和测试，以评估其在多模态密码环境中的表现。期望结果是发现新的安全性弱点并提出相应的对策。
   - **跨文化安全性研究方案**：进行跨文化案例研究，收集不同文化背景下的密码语言数据。然后，测试LLMs在不同文化背景下的安全性表现，并分析文化差异对模型响应的影响。最终目标是提高模型在多文化环境中的普适性和安全性。
   - **自适应安全性强化学习方案**：开发一套机制，使LLMs能够在不断的用户交互中学习和适应新的密码语言。此研究将侧重于自适应算法的设计和优化。通过模拟实验来评估这种方法在提高LLMs安全性方面的有效性。
:::

# Others

[ICLR-2024] GPT-4 Is Too Smart To Be Safe: Stealthy Chat with LLMs via Cipher

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2311.08268 |
> | Code & Data | https://github.com/NJUNLP/ReNeLLM |
> | Public      | NAACL |
> | Date        | 2024.03.19 |


# Summary Overview

本文将越狱提示攻击概括为两个方面：提示重写和场景嵌套。基于此提出了ReNeLLM，一个利用LLM本身生成有效越狱提示的自动框架。


![image.png](/static/img/e0687c7a0d79ce99b0b754ddf4c6e2b7.image.png)

# Main Content

针对LLM的越狱提示攻击通常分为两张类型：
1. 手动设计的越狱提示，故意制作prompt来绕过LLM的内置保障措施。
2. 基于学习的越狱提示，它将攻击过程表述为优化问题，并使用一个或多个更多的白盒模型来搜索或提示后缀，最大限度地提高LLM引发有害反应的可能性。

ReNeLLM 包括了两个主要步骤：
1. Prompt rewriting: 即对初始prompt进行一系列不改变其核心语义的重写操作（如少字释义、改变表达风格等），从而更容易引起LLM的回应。
2. Scenario nesting: 为了让重写后的提示更加隐蔽，我们将其嵌套到特定的任务场景中（如代码补全，文本延续等），让LLM自己寻找有效的越狱攻击提示。

Contributions：
- 我们介绍了ReNeLLM，第一个针对LLM的通用越狱提示攻击框架，它将越狱提示攻击概括为提示重写和场景嵌套两个方面，利用LLM本身生成越狱攻击提示。
- 大量实验表明，ReNeLLM 生成的越狱提示可以在更短的时间内保持较高的攻击成功率。此外，ReNeLLM 很难通过现有的防御方法检测到，并且在代表性的 LLM 上表现出泛化性和可转移性。这种经验上的成功表明现有法学硕士在安全性能方面存在令人震惊的缺陷。
- 我们对现有的越狱防御方法进行了调查，并揭示了它们在有效保护 LLM 免受 ReNeLLM 普遍攻击方面的不足。此外，为了探究LLM防御失败的原因，我们观察重写和嵌套前后LLM提示执行优先级的变化，并据此设计防御方法。我们希望我们的观察结果能够为未来的法学硕士供应商开发更安全、更规范的系统提供宝贵的指导。

![image.png](/static/img/7fd31459d8881a523682cb6bb9cafceb.image.png)

我们将越狱攻击制定如下：给定被测模型 $LLM_{mut}$ 和初始有害提示 $X$，越狱攻击的目标是在有限的可枚举策略空间内找到特定的策略操作序列 $S$。该策略$S$旨在编辑提示，使得$LLM_{mut}$对编辑的提示的响应被指定的危害性评估器$LLM_{eval}$判断为有害的可能性最大化。这可以表示为：

$$
S^*=\argmax_SLLM_{eval}(LLM_{mut}(S(X)))
$$

其中$LLM_{eval}$分配的值越高，表明越狱成功的可能性越大。

![image.png](/static/img/fd3be9947e37c3d8e0c14cec29a2909f.image.png)

**Prompt Rewrite**
1. Paraphrase with Fewer Words
2. Alter Sentence Structure
3. Misspell Sensitive Words
4. Insert Meaningless Characters
5. Perform Partial Translation
6. Change Expression Style

![image.png](/static/img/8aef424f295309adf4ec46aecde1d721.image.png)

**Scenario Nest**

在教学场景的选择上，我们受到了Yuan等人的工作的启发。 (2023)，他发现密码聊天可以绕过LLM的安全对齐技术，从而暴露LLM在面对非自然语言时的脆弱性。

最终选取了三种通用场景：**Code Completion**, **Table Filling**, **Text Continuation**。

这三个场景的共同点是，它们都与LLM的训练数据（都出现在训练数据中）或者训练目标（都是基于语言建模的生成任务）保持一致，并且都在场景中留有空白，类似于句子级完形填空任务。我们随机选择一个场景来嵌套重写的提示，并将嵌套的提示提供LLM（即被测试的模型）。当越狱攻击触发LLM生成令人反感的输出时，我们就认为越狱攻击成功。

**Why LLMs fail to defend against the attack of ReNeLLM**

![image.png](/static/img/cb85c0905dddd85cc2bd0b0ea17d8e38.image.png)

例如，当我们重写最初的提示时，将敏感词“steal”错误地拼写为“stealin”，或者部分翻译它，比如将“steal”翻译成中文“偷”，LLM对这些改写后的提示的注意力分布有些分散，但LLM仍然拒绝回应。当我们引入场景嵌套，例如表格填充和文本延续时，我们观察到LLM的注意力进一步分散，与内部指令相比，更注重外部指令（例如“表格”，“改进”，“增强”）部分（例如“stealin 餐厅 POS”）。这表明法学硕士在执行这些越狱提示时的优先级可能已经发生了变化，从对外部和内部指令同等重视转变为优先考虑外部指令（或者我们可以说，目前法学硕士优先提供有用的响应而不是安全的响应。）。
# Experiments

## Metrics

- ASR
- ASR-E

## Datasets

Harmful Behaviors (Andy Zou, Zifan Wang, J Zico Kolter, and Matt Fredrikson. 2023. Universal and transferable adversarial attacks on aligned language models. arXiv preprint arXiv:2307.15043.)

## Baselines

- GCG attack
- AutoDAN-a
- AutoDAN-b

## Results

![image.png](/static/img/433a47acd0bd6338537bf4e0570bff47.image.png)

TCPS: Time Cost Per Sample

![image.png](/static/img/5ce06d7502d8a81761d5743ad3c8c6f7.image.png)

**Ablation Study**

![image.png](/static/img/b91e0a762ca5bab91019c02fd48e7675.image.png)

**Evaluating safeguards Effectiveness**
- OpenAI Moderation Endpoint
- Perplexity Filter
- RA-LLM

![image.png](/static/img/f0f31a135daf288de260b8bacc2a90bf.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
**1. 论文的创新之处与独特性：**

   《A Wolf in Sheep’s Clothing》一文的创新点主要体现在ReNeLLM框架的设计上，它将针对大型语言模型（LLM）的攻击过程抽象成两个步骤：提示重写和场景嵌套。这种方法不仅提高了攻击成功率，而且大大减少了生成攻击提示的时间成本。尤其是场景嵌套策略，有效地隐藏了恶意提示的本质，使其难以被现有的防御机制检测到。这些创新不仅揭示了LLM在安全防御上的不足，还为今后LLM的安全防御提供了重要的研究方向。

**2. 论文中存在的问题及改进建议：**

   然而，该研究仍有一些局限性。首先，其评估主要依赖于GPT-4作为评估器，可能带来额外成本和延迟。其次，实验数据集主要以英语为主，可能限制了方法的泛化能力。最后，尽管相比之前的基线，ReNeLLM降低了生成攻击提示的时间，但仍需要持续使用LLM进行生成和评估，因此计算成本仍然较高。建议后续研究中考虑多语种的数据集，以及探索更高效的评估方法和计算优化策略。

**3. 基于论文的内容和研究结果，提出的创新点或研究路径：**

   a. 多语种和文化背景的安全性评估：考虑不同语言和文化背景下的攻击模式和防御策略，提高LLM的跨文化安全性。

   b. 自适应安全防御机制：根据LLM的使用环境和用户行为动态调整安全防御策略，以应对不断演化的攻击方法。

   c. 细粒度的攻击识别和防御：探索基于LLM内部机制（如注意力机制）的细粒度攻击识别，提出相应的精细化防御方法。

**4. 为新的研究路径制定的研究方案：**

   a. 【多语种和文化背景的安全性评估】

   研究方法：搜集并构建不同语言和文化背景下的攻击数据集，使用多语种LLM进行测试，并分析不同文化背景对攻击和防御策略的影响。

   研究步骤：数据收集和处理、模型测试、结果分析和比较。

   期望成果：提供一个多文化视角下的LLM安全性评估框架，及其在不同文化背景下的实际应用指导。

   b. 【自适应安全防御机制】
   
   研究方法：开发能够根据实时使用环境和用户行为动态调整的安全防御系统。

   研究步骤：系统设计、实现自适应算法、测试和优化。

   期望成果：构建一个灵活适应不同应用环境的LLM安全防御系统。

   c. 【细粒度的攻击识别和防御】

   研究方法：深入分析LLM内部机制，如注意力分布，以识别和防御细粒度攻击。

   研究步骤：内部机制研究、攻击识别方法开发、防御策略测试和优化。

   期望成果：提出一套基于LLM内部机制的细粒度攻击识别和防御方法。
:::

# Others

[NAACL-2024] A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2311.09677 |
> | Code & Data | https://github.com/shizhediao/R-Tuning |
> | Public      | ArXiv |
> | Date        | 2024.03.14 |


# Summary Overview

本文提出了一种指令调优的新方法 **Refusal-Aware Instruction Tuning (R-Tuning)**

该方法首先通过识别参数知识和指令调整数据之间的知识差距来形式化。然后，基于知识交叉构建拒绝感知数据，从而调整LLMs，避免回答超出其参数知识的问题。

![image.png](/static/img/dac01d3be578575fb09c7703b0197f4e.image.png)
# Main Content

之前的研究（Min et al., 2022; Wang et al., 2023; Zhou et al., 2023）表明，几乎所有知识都是在预训练阶段获得的，而指令调优则教授格式化和思维链提示指导知识启发。

即使面对超出其知识范围的问题，LLMs也会冒险提供答案。仅根据正确答案训练模型会无意中教会它猜测而不是承认自己的无知。

**R-Tuning引入了两个步骤：**
1. 测量参数知识和指令调优数据之间的知识差距，识别不确定的问题。通过在训练数据上推断一次模型并比较预测和标签，指令调整数据被分为不确定数据$D_0$和确定数据$D_1$。
2. 通过在标签词后面填充不确定性表达式来构造拒绝感知数据，然后在拒绝感知数据上微调模型。

进一步的分析令人惊讶地表明，在训练期间学习不确定性，然后用它来过滤和回答问题，比直接对测试数据应用不确定性过滤会产生更好的结果。

**Contributions:**
1. 我们研究了指令调优数据和参数知识之间存在的知识差距，并将幻觉问题归因于迫使模型使用传统指令调优来完成答案。
2. 为了解决这个问题，我们提出了一种新颖的指令调优方法——R-Tuning，它根据模型自身的知识来区分指令调优数据。 R-Tuning 构建一个拒绝感知数据集，然后调整模型以避免响应超出其参数知识的问题。
3. 实验结果证明了R-Tuning的有效性和泛化能力。我们发现该模型的学习拒绝能力作为一种元技能发挥作用，与任务无关并通过多任务训练得到增强。

**拒绝感知数据识别**

首先应用预训练的模型$M$来回答$D$中的所有问题，并根据预测和标签之间的比较将问题分成两组。如果模型的预测能和标签匹配，该问题会被放进$D_1$，否则，被放入$D_0$。

![image.png](/static/img/2cbdb4f182061f08ed02ba46de6eb295.image.png)

$$
Q:\{\text{Question}\},A:\{\text{Answer}\}.\{\text{Prompt}\}.
$$

确定数据集$D_1$是通过在模板后附加"I am sure"来构造的，而不确定数据集$D_0$是通过在模板后附加"I am not sure"来构造的。我们使用的prompt是Are you sure you accurately answered the question based on your internal knowledge?

因为构造了新式的数据集，微调阶段的$Loss$如下：

$$
L=-\frac{1}{T}\sum_{i=1}^T\log P(t_i|t_1,t_2,\cdots,t_{i-1})
$$

## Related Work

**Uncertainty Quantification of LLMs**
不确定性量化是机器学习中长期存在的问题。在深度学习时代，Guo 等人。 (2017) 首先根据 ECE 指标（预期校准误差）确定深度神经网络缺乏校准的预测置信度（又名预测概率）（Naeini 等人，2015）。陈等人。 (2022)进一步研究预训练大型语言模型的校准问题，并在大型语言模型上观察到相同的错误校准问题。 ActivePrompt (Diao et al., 2023b) 引入了不确定性来选择思想链注释的问题，并证明了其在积极、明智地选择和注释LLMs情境学习最有帮助的范例方面的有效性。

# Experiments

## Metrics

accuracy:

$$
\text{accuracy} = \frac{\#\text{of correctly answered questions}}{\#\text{of willingly answered questions}}
$$

Average Precision (AP) score:

$$
AP=\sum_{k=0}^{n-1}(R(k+1)-R(k))\times P(k)
$$
$$
P(k) = \frac{\#\text{of correct answers above k-threshold}}{\#\text{of answers above k-threshold}}
$$
$$
R(k) = \frac{\#\text{of correct answers above k-threshold}}{\#\text{of correct answers}}
$$

## Datasets

- Question-Answering
    - ParaRel
    - HotpotQA
    - SelfAware
    - HaluEval
    - FalseQA
    - NEC
- Multi-Choice
    - MMLU
    - WiCE
    - FEVER

## Baselines

- Pretrain-T:
    - 评估原始预训练检查点在整个测试集上的性能。
- Pretrain-W:
    - 为了验证自愿回答问题的有效性，我们评估了经过微调的模型愿意回答的测试集上原始预训练检查点的性能。直观上，如果愿意回答的问题在基本模型的知识范围内，那么该基线应该表现良好。
- Vanilla:
    - 使用所有问题和真实标签对$D$上的模型进行微调，传统的指令调优方法。

## Results

![image.png](/static/img/3bbb322dc4f29a09da07eba75085a420.image.png)

采用无监督识别策略的 R-Tuning (R-Tuning-U) 和采用标签替换的 R-Tuning (R-Tuning-R)。

![image.png](/static/img/1a679fd9b7b2daad27492f292c4522b3.image.png)

R-Tuning-R:（1）替换方法丢弃了可用于训练的有价值的标签。 (2) R-Tuning要么只能输出答案，要么只输出确定性，但不能同时响应两者，导致难以同时考虑精度和召回率。
$D_1:Q:\{\text{Question}\},A:\{\text{Answer}\}$
$D_0:Q:\{\text{Question}\},A:\{\text{uncertainty Expression}\}$
![image.png](/static/img/cac08e7293d7723367558cfd84097cc2.image.png)
# 🤖ChatGPT


:::info{title="ChapGPT"}
**论文的创新之处与独特性：**

本文提出的“拒绝意识指导调优”（Refusal-Aware Instruction Tuning, 简称R-Tuning）方法在自然语言处理领域中具有显著的创新性和独特性。该方法的核心创新在于解决了大型语言模型（LLMs）在面对超出其参数化知识范畴的问题时倾向于生成虚假事实的问题。R-Tuning通过识别参数化知识与指导调优数据之间的知识差距，然后构建拒绝意识数据，使模型能在超出其参数化知识的问题上选择不回答。这种方法有效提高了模型对已知问题的回答能力，同时减少了对未知问题的误答。此外，实验结果表明，这种拒绝能力是一种元技能，可以推广到其他任务上。

**论文中存在的问题及改进建议**：

尽管R-Tuning在减少模型的“幻觉”（即错误信息的生成）方面取得了进展，但该方法也存在一些局限性。首先，R-Tuning依赖于对训练数据进行的监督式和非监督式的确定性与不确定性的识别，这可能限制了其在没有清晰标签的真实世界数据集上的应用。其次，R-Tuning在训练过程中可能会因为过度强调拒绝回答而忽略了对模型预测能力的进一步提升。针对这些问题，可以考虑开发更加精细化的不确定性评估机制，以及平衡拒绝答案与提高预测准确性之间的关系。

**基于论文的内容和研究结果，提出的创新点或研究路径：**

a. 发展更高级的不确定性评估算法：设计算法来更精确地评估模型对于特定问题的不确定性，可以提高R-Tuning方法的效能。

b. 自适应学习机制：开发一种机制，使模型能够根据其在特定任务上的表现自适应地调整拒绝回答的阈值。

c. 多模态拒绝意识模型：扩展R-Tuning方法到多模态领域，例如结合文本、图像和音频数据的处理，来增强模型在更广泛应用场景下的拒绝能力。

**为新的研究路径制定的研究方案：**

a. 对于更高级的不确定性评估算法，研究可以从现有不确定性评估技术出发，如贝叶斯方法和深度学习的集成方法，以提高评估的准确性和效率。预期成果是一个能更准确识别和处理未知问题的语言模型。

b. 对于自适应学习机制，可以采用强化学习或元学习方法，使模型在不断的互动过程中学会优化其拒绝答案的策略。这样的研究可能会导致更智能和适应性更强的语言模型。

c. 在多模态拒绝意识模型的研究中，可以探索将R-Tuning方法与图像识别、语音处理等技术结合，以实现对多种数据类型的综合理解和处理。这项研究的目标是创建一个能够在更复杂、多元化的数据输入情况下做出准确反应的模型。
:::

# Others

[ArXiv-2023] R-Tuning: Teaching Large Language Models to Refuse Unknown Questions

因为有些时候服务器上要从谷歌云盘上下载数据，但是没有可视化操作并且感觉从主机上先下载再传上去有点麻烦，找到了`gdown`工具达到下载目的。


仓库：https://github.com/wkentaro/gdown

安装命令：
```shell
pip install gdown
```
下载命令：
```shell
# Files
https://drive.google.com/file/d/<file_id>/view?usp=sharing
# Folders
https://drive.google.com/drive/folders/<file_id>
```

使用gdown下载谷歌云盘文件/文件夹

在linux服务器上配置clash代理并运行 + dashboard



# 配置clash

首先需要下载clash文件，但是很不幸的是由于Clash作者删除了项目，所以找了一个下载链接进行下载：

https://pub-eac3eb5670f44f09984dee5c57939316.r2.dev/clash-linux-amd64-v1.18.0.gz

下载完成后，使用`gunzip`命令进行解压，获得`clash-linux-amd64-v1.18.0`文件

```shell
gunzip clash-linux-amd64-v1.18.0.gz
```
改名，并给该文件赋予执行权限
```shell
mv clash-linux-amd64-v1.18.0 clash
chmod u+x clash
```
运行Clash文件需要`Country.mmdb`，如果是没有第一次运行会自动下载，但是很可能超时失败：
![image.png](/static/img/fb24ef0afbddf89d75584ef8e5c85709.image.png)
这里可以手动下载然后传至服务器上，clash文件相同目录下。

https://github.com/Dreamacro/maxmind-geoip/releases/download/20240212/Country.mmdb

根据订阅链接下载`config.yaml`

```shell
wget -O config.yaml <代理商提供的clash订阅链接>
```

成功执行完上面的过程后，现在应该有三个文件位于clash目录下(红框内3个文件)：

![image.png](/static/img/7c2f3b1b7e5770d518fd7158d2212cb4.image.png)

使用命令启动clash，启动clash后可以在`config.yaml`中查看代理的具体配置信息（mode，port等）
```shell
./clash -d .
```

设置端口/重置端口
```shell
export https_proxy=http://127.0.0.1:7890 http_proxy=http://127.0.0.1:7890 all_proxy=socks5://127.0.0.1:7890
```
```shell
unset  http_proxy  https_proxy  all_proxy
```

# 配置dashboard

下载dashboard：https://github.com/haishanh/yacd/releases/download/v0.3.7/yacd.tar.xz

解压文件并改名：
```shell
tar -xJvf yacd.tar.xz
mv public dashboard
```
为了加载dashboard，需要修改`config.yaml`，增加红框处`external-ui: dashboard`，其中`secret`为访问dashboard密码，不需要密码可以直接注释掉

![image.png](/static/img/7cf5e3d25ea8106164510eee877aaed8.image.png)

运行
```shell
./clash -d .
```

dashboard是挂在9090端口上的，访问http://localhost:9090/ui 即可访问。注意如果使用vsc可以直接使用手动转发端口到本地。

dashboard如下：

![image.png](/static/img/3c8dc75d7985950cdb9d6291057ddcc5.image.png)