LLM-Attack

> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://arxiv.org/abs/2009.00829         |
> | Code & Data | https://github.com/rajammanabrolu/C2PO |
> | Public      | AAAI                                       |
> | Date        | 2024.02.29                                  |


# Summary Overview

该文提出了一种软连接的方式（soft casual relation），并且使用常识信息，在固定的情节节点之间构建情节，从而达到故事生成的目的。

# Main Content

自动生成故事所面临的核心挑战之一是因果关系的发展，即故事中的事件是由之前的事件发展而来的。

故事生成中的一些故事生成方法没有将常识性知识明确地纳入故事生成过程中，下面是结合常识资源自动生成故事的方法：

- Rashkin 等人（2018）提出了一个注释框架，专门用于研究基于常识的故事中人物的心理状态。
- Guan、Wang和Huang（2019）结合外部常识知识源明确改进了故事结局的生成，Mao等人（2019）；
- Guan等人（2020）研究了在ConceptNet（Speer和Havasi，2012）和BookCorpus（Kiros等人，2015）等常识源上微调基于转换器的预训练语言模型（Vaswani等人，2017）。

然而，这些工作的重点是提高他们所谓的逻辑性和语法性，主要是转化为局部连贯性，而不是分析对因果关系或整体故事质量的感知。

**软因果关系**：对两个互不相斥的标准的合理预期：

1. certain activities are needed to achieve a character's goal
    第一个分句借鉴了 Trabasso 和 van den Broek（1985 年）关于因果关系在故事理解中的作用的心理学理论：读者试图通过追踪因果关系来理解事件发生的 "原因"--除非前面发生了某些事件 x，否则某些事件 y 就不可能发生。
3. certain activities are in pursuit of future goals
    第二个分句借鉴了 Graesser、Lang 和 Roberts（1991 年）关于角色目标层次在故事理解中的作用的理论：读者试图通过跟踪和预测角色目标层次来理解事情发生的 "原因"。

![image.png](https://www.geaming.cn/static/img/efe29690351393a84a7505a8680122fe.image.png)

![image.png](https://www.geaming.cn/static/img/13ad60281dde1e7eca1cc6fa2d987daf.image.png)

# Experiments

## Metrics

作者通过Mechanical Turk招募了351名人类参与实验，参加的标准为

- 英语流利
- 能理解故事中基于常识的因果关系

参与者需要回答一下问题：


- Which story's events occur in a more PLAUSIBLE ORDER?
  : as a proxy to indicate preceptions of overall causality within the story
- which story's sentences MAKE MORE SENSE given sentences before and after them?
  : to examine perceptions of local causality and commonsense reasoning in the story
- Which story better follows a SINGLE PLOT?
  : for insight into perceptions of global coherence for the entire story
- Which story is of HIGHER QUALITY?
  : as a measure of overall perceived story quality
- Which story is more ENJOYABLE?
  : indicates story value
- Which story better FITS A GENRE?
  : a measure of how well the stoy matches commonsense knowledge specific to a genre, capturing the differences between the two genres

对于每一个问题，在配对比较中，我们都会进行配对曼-惠特尼 U 检验，以评估统计显著性，并计算 Fleiss'κ (Kappa) 值，以衡量评分者之间的可靠性。

## Datasets

![image.png](https://www.geaming.cn/static/img/8640df47f4fe3bf3e34d192f9d66ade2.image.png)

我们在 Ammanabrolu 等人（2020a）3 首次引入的故事数据集上进行了评估，该数据集包含两种类型--悬疑故事和童话故事，数据集的统计数据见表 1。数据按 8:2 的比例分成训练和测试两部分，训练部分用于训练 C2PO 和两个基线模型。

## Results


![image.png](https://www.geaming.cn/static/img/b84f192c2d353e52399073628c44aab5.image.png)


![image.png](https://www.geaming.cn/static/img/4dcc5b4761fa6798c2c17d9559ab081a.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   论文提出了一种自动化故事讲述系统——C2PO（Causal Commonsense Plot Ordering），该系统通过软因果关系生成故事情节。软因果关系是基于常识推理推断出的因果关系，不必严格符合逻辑一致性，而是基于人们日常常识理解的事件先后关系。C2PO利用基于变压器的模型，对常识推理进行训练，生成具有因果性和连贯性的故事情节。这一创新点在于将常识推理与故事生成结合，提高了故事的质量和可信度。

2. 论文中存在的问题及改进建议：
   - 问题：C2PO系统可能过度依赖于常识推理模型（如COMET），可能导致生成故事的多样性和创新性受限。
   - 改进建议：可以考虑引入更多元化的知识源和故事元素，例如结合不同文化背景的故事数据库，以提高故事的多样性和创新性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - 创新点一：开发跨文化故事生成模型，整合多种文化背景下的常识知识，提高故事的普遍性和包容性。
   - 创新点二：研究情感驱动的故事生成，将情感分析与常识推理相结合，生成情感丰富、更具吸引力的故事。
   - 创新点三：开发交互式故事生成系统，允许用户参与故事情节的决策，增加故事的互动性和个性化。

4. 为新的研究路径制定的研究方案：

    - 跨文化故事生成模型：
        研究方法：收集和整理不同文化背景的故事数据，训练模型理解和运用不同文化的常识知识。
        步骤：数据收集与整理、模型训练、测试与优化。
        期望结果：生成具有跨文化特征的故事，提高故事的普遍性和包容性。
    - 情感驱动的故事生成：
        研究方法：结合情感分析技术和常识推理模型，分析故事情节中的情感元素，生成情感丰富的故事。
        步骤：情感分析模型开发、与常识推理模型的整合、测试与优化。
        期望结果：产生情感丰富、更具吸引力的故事。
    - 交互式故事生成系统：
        研究方法：开发一个允许用户参与决策的故事生成系统，用户的选择影响故事情节的发展。
        步骤：系统设计、用户交互界面开发、系统测试与优化。
        期望结果：提高故事的互动性和个性化，增强用户体验。
:::

# Others

[OpenIE 提取三元组](https://www.geaming.cn/admin/editor?type=article&id=19)

[AAAI-2021] Automated Storytelling via Causal, Commonsense Plot Ordering

# [LeetCode] 204. 计算质数




[原题](https://leetcode.cn/problems/count-primes/description/)

本文主要是根据 LeetCode 所提供的官方题解进行记录三种计算质数的方法。[官方题解链接](https://leetcode.cn/problems/count-primes/solutions/507273/ji-shu-zhi-shu-by-leetcode-solution/)

## 题目

![image.png](https://www.geaming.cn/static/img/4a07a229fb3bb1f37940411fbd73e34c.image.png)

## 思路 & 解法

### 枚举

比较直观的一个思路就是我们直接枚举每个数并且判断它是不是质数，很显然的是对于一个数$x$，我们只需要判断其是否可以被$[2,\sqrt{x}]$区间内的整数整除即可。

C++代码如下：
```C++

```

Python代码如下：
```Python

```

### 埃氏筛

### 线性筛

[LeetCode] 204. 计算质数

使用 spaCy / OpenIE 从文本中提取三元组

> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://ceur-ws.org/Vol-2699/paper07.pdf           |
> | Code & Data | https://github.com/ranyxr/dice_story                              |
> | Model       | https://drive.google.com/drive/folders/1T68rWkOde5ZwcuodQ9iWuYJAcqAmb0Jo |
> | Public      | CIKM                                        |
> | Date        | 2020.10.19                                  |


# Summary Overiew

这篇文章是2020年的，研究了如何将知识图谱模型与 LM 相结合，并且提出了一个 DICE 模型。当时还没有 LLM 的概念，但是作者还是使用了 GPT-2 这样的模型微调进行了测试，感觉作者对于未来趋势的把握还是十分不错的。

主要思想就是，通过根据 User 的关键词，根据构建好的知识图谱 KG，去寻找完善词语之间的关系，生成 SVO 三元组，并其通过三元组提交给语言模型生成最后的故事文本，这里作者的目标是生成短故事（5句话左右）。但是知识图谱在这里仅起到一个 enrich 的作用，并没有其他的作用。

# Main Content

<div align="center">
<img src="https://www.geaming.cn/static/img/ee16fc4c3726e406c4f7c1458c94acb1.image.png" alt="图片描述" height="800">
</div>

文章主要想要解决的问题：
 - Q1：在没有知识图谱嵌入的情况下，如何将语言模型与知识图谱结合起来生成故事？
 - Q2：使用知识图谱自动生成故事有哪些优缺点？

Contributions:

- 我们提出了一种结合知识图谱和语言模型的新方法，无需使用知识图谱嵌入即可生成文本。结果表明，我们可以有效地将知识图谱中的知识作为背景或情节注入到自动生成的故事中，从而在一定程度上控制这些故事的内容。
- 我们引入了一个经过微调的模型，该模型接受 SVO 三元组作为提示，而不是原始 GPT-2 模型使用的句子，从而利用 SVO 三元组提供的上下文生成合理而有创意的故事。

![image.png](https://www.geaming.cn/static/img/9920248aa41a5ddbe06d89218b1a0298.image.png)

该系统的任务是从一组 SVO 三元组中生成 5 句故事，这些三元组被提取出来并重新组合到一个知识图谱中。系统的预期输入是用户提供的一组关键词。图 2 显示了 DICE 系统的双层结构。我们使用 SVO 三元组作为连接知识丰富层和文本生成层的接口。SVO 三元组可以从知识图谱中构建，也可以从故事语料库中提取；同时，它们还可以作为语言模型生成故事的提示。系统首先利用知识图谱检查这些关键词之间的关系并添加其他信息，然后生成一组 SVO 三元组，供语言模型生成故事。

![image.png](https://www.geaming.cn/static/img/ceefa3f866f69c4a951ad630b5898d85.image.png)

示例生成的故事文本：

![image.png](https://www.geaming.cn/static/img/5224c9d4e9366afad07820ee34b011a6.image.png)

# Experiments

## Metrics

评估重点关注生成输出的两个方面：与故事无关的指标和与故事相关的指标。

![image.png](https://www.geaming.cn/static/img/0792659725b77c60e62025533822e0fb.image.png)

对于与故事无关的指标，我们使用自动分析工具 Grammarly 来评估生成文本的整体语法性能。

## Datasets

- ROCStories

## Results
为每个模型随机挑选了 100 个样本来评估它们的性能。

<div align="center">
<img src="https://www.geaming.cn/static/img/27a6921611123533cb18da1d0bcdf558.image.png" alt="Table 3">
<img src="https://www.geaming.cn/static/img/5d2fe9c3bd9ece71bd118eaf7d433344.image.png" alt="Table 4">
</div>

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   此篇论文提出了一种新的方法，将知识图谱与语言模型结合，用于创造性故事生成。该方法不依赖于知识图谱的嵌入，而是直接使用主谓宾（SVO）三元组作为提示来引导语言模型生成故事。这种方法有效地将知识图谱中的知识注入到自动生成的故事中，同时也能在一定程度上控制故事的内容。这一方法的关键在于使用SVO三元组作为连接知识丰富层和文本生成层的接口。

2. 论文中存在的问题及改进建议：
   - 问题：虽然该方法能够有效地利用SVO三元组影响故事情节，但它无法保证故事的连贯性，因为这些三元组是从故事的每个句子中单独提取的，且相互之间联系较弱。
   - 改进建议：可以考虑采用更复杂的结构化输入（如图形网络），以更好地捕获故事中的因果关系和逻辑流，从而提高故事的连贯性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   a. 探索使用图形神经网络来增强故事生成的连贯性和逻辑性，通过将SVO三元组以图形的形式组织，使得模型可以更好地理解和利用故事元素之间的关系。
   b. 开发一种新的语言模型训练方法，专门针对故事生成任务，例如通过模仿人类叙述故事的方式来训练模型。
   c. 利用更丰富的外部知识源，如历史数据库、文学作品集，来提供更多样化和深入的背景知识，从而生成更具创造性和多样性的故事。

4. 为新的研究路径制定的研究方案：
   a. 使用图形神经网络增强故事生成：
      - 研究方法：构建一个能够处理图形结构输入的语言模型，并使用图形神经网络来分析和理解SVO三元组之间的关系。
      - 步骤：首先构建一个包含人物、事件和地点等元素的图形网络，然后利用图形神经网络来学习这些元素之间的关系。最后，使用这些关系来引导故事生成。
      - 期望成果：生成的故事将具有更高的逻辑性和连贯性，同时保持创造性。

   b. 开发针对故事生成的语言模型训练方法：
      - 研究方法：分析人类故事叙述的特点，设计模拟这些特点的训练任务。
      - 步骤：通过对大量文学作品和口头叙述故事的分析，提取故事叙述的关键元素和模式，然后设计相应的训练任务来指导模型学习这些元素和模式。
      - 期望成果：培养出能够更自然、更具人类风格的故事叙述能力的语言模型。

   c. 利用丰富的外部知识源提升故事生成：
      - 研究方法：整合历史数据库、文学作品集等多元化知识源，为故事生成提供更广泛的背景知识。
      - 步骤：开发算法来整合和处理这些知识源，确保知识的准确性和适用性。然后将这些知识用于指导故事生成。
      - 期望成果：生成具有丰富背景、文化深度和创造性的故事。
:::

# Others

[使用 spaCy 从文本中提取三元组](https://www.geaming.cn/post/19)