> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://arxiv.org/abs/2402.16914         |
> | Code & Data | https://github.com/xirui-li/DrAttack |
> | Public      | AriXiv                                      |
> | Date        | 2024.03.05                                |


# Summary Overview
作者提出了一种新的攻击方法：DrAttack。出发点是将恶意提示分解成分离的sub prompt，可以通过以碎片化、不易察觉的形式呈现恶意提示，从而有效地掩盖其潜在的恶意意图，达到攻击的目的。

DrAttack主要包括了三个关键部分：

1. 将原始提示语“分解”为子提示语
2. 通过上下文学习，使用语义相似但无害的重新组合提示，隐式地“重建”这些子提示语
3. 对子提示语进行“同义词搜索”，目的是在越狱LLMs的同时，找到保持原始意图的子提示语同义词。

# Main Content
![image.png](/static/img/5fc34ab895d2cfe46b7f97ee935d65fa.image.png)

为了掩盖攻击提示的有害意图，目前的自动越狱攻击侧重于生成周边内容，包括后缀内容优化、前缀/系统内容优化和混合内容。

在本研究中，作者探索了一种更有效的自动越狱策略，即修改原始攻击提示的子句子，以隐藏恶意，同时缩小搜索空间，提高搜索效率。这一策略的灵感来源于这样一种见解，即攻击提示的恶意意图是建立在短语的语义结合之上的，例如 "制造炸弹"。相比之下，单独的短语如 "制造 "或 "炸弹 "则更为中性，不太可能引发 LLM 的拒绝。

Decomposition-and-Reconstruction Attack (DrAttack):
1. Decomposition via Semantic-Parsing
   
   将恶意提示分解为看似中性的子提示
2. Implicit Reconstruction via In-Context Learning

    通过良性和语义相似的组装语境重新组装子句子
3. Sub-prompt Synonym Search

    缩小了搜索空间，是搜索比全词汇优化更有效

**Prompt-based attack**

当使用提示$p$进行查询时，如果查询$p$是恶意的，LLM 可以返回答案$a_p$或拒绝问题 $r_p$。当LLM拒绝回答恶意查询$p$时，越狱算法就会尝试搜索一个能从目标 LLM 得到所需答案$a_p$的对抗性提示$p^\prime$。因此，越狱算法本质上是试图解决以下优化问题：
$$
p^{\prime*}=\argmax_{p^\prime}\text{Pr}(a_p|p^\prime)
$$
$\text{Pr}(a|p)$表示目标LLM的可能性($f_{\text{LLM}}$)

值得注意的是，我们对 "上下文学习"（In-Context Learning）的使用与之前的工作有着本质区别：以前的工作利用有害的问答演示来诱导（Wei 等人，2023b）目标 LLM 回答恶意查询；而在我们的案例中，这些演示完全由良性示例组成（例如，"如何做蛋糕"），以教授模型如何重新组合答案。

![image.png](/static/img/0f693e96d42058a4cb0ed62bba052824.image.png)

**Structure of prompt**

![image.png](/static/img/cdae2317bc25479c462cec1bc2858c05.image.png)

- **STRUCTURE**：解释了解析结构（例如，"[指导]如何[名词][动词]"）。
- **ASSIGNMENT**：将解析的子词分配给 STRUCTURE 部分的占位符（例如，[名词] = 蛋糕）
- **RESULT**：其中包含重建的（良性）查询和示例响应。

## Related Work
**Jailbreak attack with entire prompt：**

有效的攻击技术可以规避 LLM 的安全检测器，从而发现 LLM 的漏洞，这可以被视为加强更安全系统设计的关键过程。这可以通过生成周边内容来隐藏原始提示的有害意图来实现。

![image.png](/static/img/7ffd85e37ce0b435e04a06039bd0d7f9.image.png)

现在的攻击可以分为三类
1. **Sufix-based methods**：基于后缀的方法通过优化后缀内容来增强有害提示，从而诱使 LLM 生成所需的恶意响应（Zou 等人，2023 年；Zhu 等人，2023 年；Shah 等人，2023 年；Lapid 等人，2023 年）。继 GCG（Zou 等人，2023 年）从随机初始化中优化后缀之后，AutoDAN-b（Zhu 等人，2023 年）通过 perplexity 正则化进一步提高了生成后缀的可解释性。为了减少这些方法对白箱模型的依赖，有人尝试通过词语替换（Lapid 等人，2023 年）或使用开源 LLM 作为替代近似器（Shah 等人，2023 年），将这些方法扩展到黑箱设置中。
2. **Prefix-based methods**：以前缀为基础的方法则通过预置 "系统提示 "来绕过内置安全机制（Liu 等人，2023 年；Huang 等人，2023 年）。例如，AutoDAN-a（Liu 等人，2023 年）使用遗传算法搜索最佳系统提示。
3. **Hybird methods**：混合方法插入多个标记，让有害提示与良性语境（"情景"）环绕在一起（Yu 等人，2023 年；Li 等人，2023 年；Ding 等人，2023 年；Chao 等人，2023 年）。
# Experiments

## Metrics

- ASR：Attack Success Rate
    - GPT evaluation
    - Human inspection

## Datasets

- AdvBench

## Baselines
在我们的研究中，我们将DrAttack与白盒攻击（GCG（Zou等人，2023年）、AutoDan-a（Liu等人，2023年）和AutoDan-b（Zhu等人，2023年））和黑盒攻击（PAIR（Chao等人，2023年）、DeepInception（Li等人，2023年））进行了比较。为完整起见，在白盒环境下，将应用转移攻击来越狱闭源 LLM。令牌在 Vicuna 7b 上进行优化，并转移到黑盒模型中。


## Results
![image.png](/static/img/9c7fe05979f2c14cb25594e09ed7ffc3.image.png)

![image.png](/static/img/6abea96d31236dd9b83d3ca4766b345b.image.png)
### Attacking defended models
我们针对 LLM 采用了三种防御策略，以进一步验证 DrAttack 对受防御模型的有效性。
- OpenAI Moderation Endpoint
- Perplexity Filter
- RA-LLM

![image.png](/static/img/bf2512053a8eb25c7fbf23fcc9e0aaff.image.png)
### Ablation Study
- 隐藏恶意的分解与重构

    分析了开源 LLM Llama2 和 Vicuna 的以下标记概率，以展示我们的方法如何隐藏恶意意图。通过平均拒绝字符串中前五个标记的概率，我们比较了对原始对抗性提示和 DrAttack 生成的提示的响应。图 7(a)中的结果表明，虽然原始提示总是会导致拒绝标记（例如 "对不起......"），但经过我们的方法处理的提示在面对越狱提示时会显著降低这种可能性。
- ICL 重建中的更好范例，更高的 ASR

    设计了三种类型的语境：语义无关的语境使用无关的组装演示；语义相关的语境通过使每个子句都可替换来获得无害提示；语义相似的语境通过限制可替换的子句，在替换从句的同时保留提示主句，从而获得无害提示。
    - semantic-irrelevant context uses irrelevant assembling demo;
    - semantic-relevant context gets harmless prompt by making every sub-prompts replaceable;
    - semantic-similar context gets harmless prompt by restricting replaceable subprompts

![image.png](/static/img/25237649ee5c593a0b2f4eb2c957a193.image.png)

![image.png](/static/img/948e1c07fa9cb83df3fd5de3d71c6d3c.image.png)
# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：

    1. 创新: 论文提出了一种新的对大型语言模型（LLM）进行“越狱”攻击的方法，称为DrAttack。它通过将恶意提示分解为子提示，然后通过上下文学习隐式地重构这些子提示，有效地隐藏了恶意意图。
    2. 独特性: DrAttack利用了语义分解和重构的技术，旨在欺骗LLM的安全机制。这种方法区别于传统的基于后缀、前缀或混合内容优化的攻击方法。
    3. 学到的关键点: 该方法揭示了LLM在处理分解和重构的复杂输入时的安全漏洞，强调了在设计LLM安全机制时需要考虑更复杂的攻击策略。
2. 论文中存在的问题及改进建议：

    1. 存在问题: 研究主要集中在攻击方法的有效性，可能没有充分探讨该技术的潜在负面影响，如被恶意利用的风险。
    2. 改进建议: 未来的研究应该更加深入地评估该技术的双重用途性，并探索如何通过设计更先进的防御机制来减轻这些风险。
3. 基于论文的内容和研究结果，提出的创新点或研究路径：

    1. 研究路径一: 探索DrAttack在不同类型的LLM中的应用，并评估其在各种模型架构和训练数据集上的效果。
    2. 研究路径二: 研究使用DrAttack技术对LLM进行强化训练，以提高其抵御复杂攻击的能力。
    3. 研究路径三: 开发和评估新的防御机制，这些机制能够识别和防御基于语义分解和重构的攻击策略。
4. 为新的研究路径制定的研究方案：

    1. 研究方案一:
        1. 研究方法: 在多种LLM上实施DrAttack，包括不同大小、不同训练数据集的模型。
        2. 步骤: 测试DrAttack在各模型上的效果，分析不同模型架构对攻击成功率的影响。
        3. 期望结果: 确定DrAttack在不同LLM上的适用性和效果差异。
    2. 研究方案二:
        1. 研究方法: 使用DrAttack作为训练工具，对LLM进行压力测试和强化训练。
        2. 步骤: 通过反复应用DrAttack，训练LLM识别和抵抗此类攻击。
        3. 期望结果: 开发出更加健壮的LLM，能够有效识别和防御复杂攻击。
    3. 研究方案三:
        1. 研究方法: 设计并测试新的防御机制，专门针对基于语义分解和重构的攻击。
        2. 步骤: 开发新算法，分析其在实际环境中对抵御DrAttack的有效性。
        3. 期望结果: 引入有效的防御策略，提高LLM在面对复杂攻击时的安全性。
:::

# Others

[ArXiv-2024] DrAttack: Prompt Decomposition and Reconstruction Makes Powerful LLM Jailbreakers

LLM-Attack

> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://arxiv.org/abs/2009.00829         |
> | Code & Data | https://github.com/rajammanabrolu/C2PO |
> | Public      | AAAI                                       |
> | Date        | 2024.02.29                                  |


# Summary Overview

该文提出了一种软连接的方式（soft casual relation），并且使用常识信息，在固定的情节节点之间构建情节，从而达到故事生成的目的。

# Main Content

自动生成故事所面临的核心挑战之一是因果关系的发展，即故事中的事件是由之前的事件发展而来的。

故事生成中的一些故事生成方法没有将常识性知识明确地纳入故事生成过程中，下面是结合常识资源自动生成故事的方法：

- Rashkin 等人（2018）提出了一个注释框架，专门用于研究基于常识的故事中人物的心理状态。
- Guan、Wang和Huang（2019）结合外部常识知识源明确改进了故事结局的生成，Mao等人（2019）；
- Guan等人（2020）研究了在ConceptNet（Speer和Havasi，2012）和BookCorpus（Kiros等人，2015）等常识源上微调基于转换器的预训练语言模型（Vaswani等人，2017）。

然而，这些工作的重点是提高他们所谓的逻辑性和语法性，主要是转化为局部连贯性，而不是分析对因果关系或整体故事质量的感知。

**软因果关系**：对两个互不相斥的标准的合理预期：

1. certain activities are needed to achieve a character's goal
    第一个分句借鉴了 Trabasso 和 van den Broek（1985 年）关于因果关系在故事理解中的作用的心理学理论：读者试图通过追踪因果关系来理解事件发生的 "原因"--除非前面发生了某些事件 x，否则某些事件 y 就不可能发生。
3. certain activities are in pursuit of future goals
    第二个分句借鉴了 Graesser、Lang 和 Roberts（1991 年）关于角色目标层次在故事理解中的作用的理论：读者试图通过跟踪和预测角色目标层次来理解事情发生的 "原因"。

![image.png](https://www.geaming.cn/static/img/efe29690351393a84a7505a8680122fe.image.png)

![image.png](https://www.geaming.cn/static/img/13ad60281dde1e7eca1cc6fa2d987daf.image.png)

# Experiments

## Metrics

作者通过Mechanical Turk招募了351名人类参与实验，参加的标准为

- 英语流利
- 能理解故事中基于常识的因果关系

参与者需要回答一下问题：


- Which story's events occur in a more PLAUSIBLE ORDER?
  : as a proxy to indicate preceptions of overall causality within the story
- which story's sentences MAKE MORE SENSE given sentences before and after them?
  : to examine perceptions of local causality and commonsense reasoning in the story
- Which story better follows a SINGLE PLOT?
  : for insight into perceptions of global coherence for the entire story
- Which story is of HIGHER QUALITY?
  : as a measure of overall perceived story quality
- Which story is more ENJOYABLE?
  : indicates story value
- Which story better FITS A GENRE?
  : a measure of how well the stoy matches commonsense knowledge specific to a genre, capturing the differences between the two genres

对于每一个问题，在配对比较中，我们都会进行配对曼-惠特尼 U 检验，以评估统计显著性，并计算 Fleiss'κ (Kappa) 值，以衡量评分者之间的可靠性。

## Datasets

![image.png](https://www.geaming.cn/static/img/8640df47f4fe3bf3e34d192f9d66ade2.image.png)

我们在 Ammanabrolu 等人（2020a）3 首次引入的故事数据集上进行了评估，该数据集包含两种类型--悬疑故事和童话故事，数据集的统计数据见表 1。数据按 8:2 的比例分成训练和测试两部分，训练部分用于训练 C2PO 和两个基线模型。

## Results


![image.png](https://www.geaming.cn/static/img/b84f192c2d353e52399073628c44aab5.image.png)


![image.png](https://www.geaming.cn/static/img/4dcc5b4761fa6798c2c17d9559ab081a.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   论文提出了一种自动化故事讲述系统——C2PO（Causal Commonsense Plot Ordering），该系统通过软因果关系生成故事情节。软因果关系是基于常识推理推断出的因果关系，不必严格符合逻辑一致性，而是基于人们日常常识理解的事件先后关系。C2PO利用基于变压器的模型，对常识推理进行训练，生成具有因果性和连贯性的故事情节。这一创新点在于将常识推理与故事生成结合，提高了故事的质量和可信度。

2. 论文中存在的问题及改进建议：
   - 问题：C2PO系统可能过度依赖于常识推理模型（如COMET），可能导致生成故事的多样性和创新性受限。
   - 改进建议：可以考虑引入更多元化的知识源和故事元素，例如结合不同文化背景的故事数据库，以提高故事的多样性和创新性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - 创新点一：开发跨文化故事生成模型，整合多种文化背景下的常识知识，提高故事的普遍性和包容性。
   - 创新点二：研究情感驱动的故事生成，将情感分析与常识推理相结合，生成情感丰富、更具吸引力的故事。
   - 创新点三：开发交互式故事生成系统，允许用户参与故事情节的决策，增加故事的互动性和个性化。

4. 为新的研究路径制定的研究方案：

    - 跨文化故事生成模型：
        研究方法：收集和整理不同文化背景的故事数据，训练模型理解和运用不同文化的常识知识。
        步骤：数据收集与整理、模型训练、测试与优化。
        期望结果：生成具有跨文化特征的故事，提高故事的普遍性和包容性。
    - 情感驱动的故事生成：
        研究方法：结合情感分析技术和常识推理模型，分析故事情节中的情感元素，生成情感丰富的故事。
        步骤：情感分析模型开发、与常识推理模型的整合、测试与优化。
        期望结果：产生情感丰富、更具吸引力的故事。
    - 交互式故事生成系统：
        研究方法：开发一个允许用户参与决策的故事生成系统，用户的选择影响故事情节的发展。
        步骤：系统设计、用户交互界面开发、系统测试与优化。
        期望结果：提高故事的互动性和个性化，增强用户体验。
:::

# Others

[OpenIE 提取三元组](https://www.geaming.cn/admin/editor?type=article&id=19)

[AAAI-2021] Automated Storytelling via Causal, Commonsense Plot Ordering

# [LeetCode] 204. 计算质数




[原题](https://leetcode.cn/problems/count-primes/description/)

本文主要是根据 LeetCode 所提供的官方题解进行记录三种计算质数的方法。[官方题解链接](https://leetcode.cn/problems/count-primes/solutions/507273/ji-shu-zhi-shu-by-leetcode-solution/)

## 题目

![image.png](https://www.geaming.cn/static/img/4a07a229fb3bb1f37940411fbd73e34c.image.png)

## 思路 & 解法

### 枚举

比较直观的一个思路就是我们直接枚举每个数并且判断它是不是质数，很显然的是对于一个数$x$，我们只需要判断其是否可以被$[2,\sqrt{x}]$区间内的整数整除即可。

C++代码如下：
```C++

```

Python代码如下：
```Python

```

### 埃氏筛

### 线性筛