> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://ceur-ws.org/Vol-2699/paper07.pdf           |
> | Code & Data | https://github.com/ranyxr/dice_story                              |
> | Model       | https://drive.google.com/drive/folders/1T68rWkOde5ZwcuodQ9iWuYJAcqAmb0Jo |
> | Public      | CIKM                                        |
> | Date        | 2020.10.19                                  |


# Summary Overiew

这篇文章是2020年的，研究了如何将知识图谱模型与 LM 相结合，并且提出了一个 DICE 模型。当时还没有 LLM 的概念，但是作者还是使用了 GPT-2 这样的模型微调进行了测试，感觉作者对于未来趋势的把握还是十分不错的。

主要思想就是，通过根据 User 的关键词，根据构建好的知识图谱 KG，去寻找完善词语之间的关系，生成 SVO 三元组，并其通过三元组提交给语言模型生成最后的故事文本，这里作者的目标是生成短故事（5句话左右）。但是知识图谱在这里仅起到一个 enrich 的作用，并没有其他的作用。

# Main Content

<div align="center">
<img src="https://www.geaming.cn/static/img/ee16fc4c3726e406c4f7c1458c94acb1.image.png" alt="图片描述" height="800">
</div>

文章主要想要解决的问题：
 - Q1：在没有知识图谱嵌入的情况下，如何将语言模型与知识图谱结合起来生成故事？
 - Q2：使用知识图谱自动生成故事有哪些优缺点？

Contributions:

- 我们提出了一种结合知识图谱和语言模型的新方法，无需使用知识图谱嵌入即可生成文本。结果表明，我们可以有效地将知识图谱中的知识作为背景或情节注入到自动生成的故事中，从而在一定程度上控制这些故事的内容。
- 我们引入了一个经过微调的模型，该模型接受 SVO 三元组作为提示，而不是原始 GPT-2 模型使用的句子，从而利用 SVO 三元组提供的上下文生成合理而有创意的故事。

![image.png](https://www.geaming.cn/static/img/9920248aa41a5ddbe06d89218b1a0298.image.png)

该系统的任务是从一组 SVO 三元组中生成 5 句故事，这些三元组被提取出来并重新组合到一个知识图谱中。系统的预期输入是用户提供的一组关键词。图 2 显示了 DICE 系统的双层结构。我们使用 SVO 三元组作为连接知识丰富层和文本生成层的接口。SVO 三元组可以从知识图谱中构建，也可以从故事语料库中提取；同时，它们还可以作为语言模型生成故事的提示。系统首先利用知识图谱检查这些关键词之间的关系并添加其他信息，然后生成一组 SVO 三元组，供语言模型生成故事。

![image.png](https://www.geaming.cn/static/img/ceefa3f866f69c4a951ad630b5898d85.image.png)

示例生成的故事文本：

![image.png](https://www.geaming.cn/static/img/5224c9d4e9366afad07820ee34b011a6.image.png)

# Experiments

## Metrics

评估重点关注生成输出的两个方面：与故事无关的指标和与故事相关的指标。

![image.png](https://www.geaming.cn/static/img/0792659725b77c60e62025533822e0fb.image.png)

对于与故事无关的指标，我们使用自动分析工具 Grammarly 来评估生成文本的整体语法性能。

## Datasets

- ROCStories

## Results
为每个模型随机挑选了 100 个样本来评估它们的性能。

<div align="center">
<img src="https://www.geaming.cn/static/img/27a6921611123533cb18da1d0bcdf558.image.png" alt="Table 3">
<img src="https://www.geaming.cn/static/img/5d2fe9c3bd9ece71bd118eaf7d433344.image.png" alt="Table 4">
</div>

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   此篇论文提出了一种新的方法，将知识图谱与语言模型结合，用于创造性故事生成。该方法不依赖于知识图谱的嵌入，而是直接使用主谓宾（SVO）三元组作为提示来引导语言模型生成故事。这种方法有效地将知识图谱中的知识注入到自动生成的故事中，同时也能在一定程度上控制故事的内容。这一方法的关键在于使用SVO三元组作为连接知识丰富层和文本生成层的接口。

2. 论文中存在的问题及改进建议：
   - 问题：虽然该方法能够有效地利用SVO三元组影响故事情节，但它无法保证故事的连贯性，因为这些三元组是从故事的每个句子中单独提取的，且相互之间联系较弱。
   - 改进建议：可以考虑采用更复杂的结构化输入（如图形网络），以更好地捕获故事中的因果关系和逻辑流，从而提高故事的连贯性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   a. 探索使用图形神经网络来增强故事生成的连贯性和逻辑性，通过将SVO三元组以图形的形式组织，使得模型可以更好地理解和利用故事元素之间的关系。
   b. 开发一种新的语言模型训练方法，专门针对故事生成任务，例如通过模仿人类叙述故事的方式来训练模型。
   c. 利用更丰富的外部知识源，如历史数据库、文学作品集，来提供更多样化和深入的背景知识，从而生成更具创造性和多样性的故事。

4. 为新的研究路径制定的研究方案：
   a. 使用图形神经网络增强故事生成：
      - 研究方法：构建一个能够处理图形结构输入的语言模型，并使用图形神经网络来分析和理解SVO三元组之间的关系。
      - 步骤：首先构建一个包含人物、事件和地点等元素的图形网络，然后利用图形神经网络来学习这些元素之间的关系。最后，使用这些关系来引导故事生成。
      - 期望成果：生成的故事将具有更高的逻辑性和连贯性，同时保持创造性。

   b. 开发针对故事生成的语言模型训练方法：
      - 研究方法：分析人类故事叙述的特点，设计模拟这些特点的训练任务。
      - 步骤：通过对大量文学作品和口头叙述故事的分析，提取故事叙述的关键元素和模式，然后设计相应的训练任务来指导模型学习这些元素和模式。
      - 期望成果：培养出能够更自然、更具人类风格的故事叙述能力的语言模型。

   c. 利用丰富的外部知识源提升故事生成：
      - 研究方法：整合历史数据库、文学作品集等多元化知识源，为故事生成提供更广泛的背景知识。
      - 步骤：开发算法来整合和处理这些知识源，确保知识的准确性和适用性。然后将这些知识用于指导故事生成。
      - 期望成果：生成具有丰富背景、文化深度和创造性的故事。
:::

# Others

[使用 spaCy 从文本中提取三元组](https://www.geaming.cn/post/19)

[CIKM-2020] Creative Storytelling with Language Models and Knowledge Graphs

因为组里面有服务器GPU资源，有些时候想要查看各个服务器的GPU资源使用情况，如果是用ssh连接，再使用`nvidia-smi`命令查看太过麻烦了，便想要写一个`python`脚本，只需要在本机上运行代码即可查看目标服务器GPU使用情况。



代码思路如下：

```mermaid
graph TD
Step1:使用paramiko库远程连接服务器 --> Step2:使用命令行nvidia-smi获取相关信息 -->Step3:将获得的输出流转化为DataFrame进行打印
```

**Step1:使用paramiko库远程连接服务器**

在这里主要是使用了`paramiko`库，因为连接方式使用的是密钥文件的方式所以传入的是`key_file`而不是`password`。如果是密码连接的方式可以自行对下面的代码进行修改。

```python
def ssh_command_with_key(hostname, port, username, key_file, command):
    # 创建SSH客户端
    client = paramiko.SSHClient()
    # 自动添加服务器的主机名和密钥到本地HostKeys对象，不推荐在生产环境中使用
    client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

    try:
        # 使用私钥文件
        mykey = paramiko.RSAKey.from_private_key_file(key_file)

        # 连接到远程服务器
        client.connect(hostname, port, username, pkey=mykey)

        # 执行命令
        stdin, stdout, stderr = client.exec_command(command)

        # 读取命令的标准输出和标准错误
        output = stdout.read()
        error = stderr.read()

        return output, error

    finally:
        # 关闭连接
        client.close()
```

**Step2:使用命令行nvidia-smi获取相关信息**

通过上面的连接服务器代码，能让我们运行`command`指令，这里主要涉及到下面两个命令，分别是显卡信息查询和任务信息查询，即分别查询显卡状态以及当前正在运行的任务状态。同时添加`--format=csv`参数，方便后续读入`DataFrame`。

```shell
nvidia-smi --query-gpu=timestamp,name,memory.used,memory.total --format=csv
```

```shell
nvidia-smi --query-compute-apps=gpu_name,pid,process_name,used_memory --format=csv
```

**Step3:将获得的输出流转化为DataFrame进行打印**

将获取到的输入流读入为`DataFrame`格式，方便查看。

```python
        output, error = ssh_command_with_key(hostname, port, username, key_file, command)
        csv_file = io.StringIO(output.decode())
        df = pd.read_csv(csv_file)
```
**完整代码**
```python
import io
import paramiko
import pandas as pd
from datetime import datetime

# 设置显示选项
pd.set_option('display.max_rows', 100)
pd.set_option('display.max_columns', 5)
pd.set_option('display.width', 1000)


def ssh_command_with_key(hostname, port, username, key_file, command):
    # 创建SSH客户端
    client = paramiko.SSHClient()
    # 自动添加服务器的主机名和密钥到本地HostKeys对象，不推荐在生产环境中使用
    client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

    try:
        # 使用私钥文件
        mykey = paramiko.RSAKey.from_private_key_file(key_file)

        # 连接到远程服务器
        client.connect(hostname, port, username, pkey=mykey)

        # 执行命令
        stdin, stdout, stderr = client.exec_command(command)

        # 读取命令的标准输出和标准错误
        output = stdout.read()
        error = stderr.read()

        return output, error

    finally:
        # 关闭连接
        client.close()

def sever_gpu_status(hostname, port, username, key_file, commands):
    # time_stamp print
    now = datetime.now()
    print("TIME_STAMP:", now.strftime("%Y-%m-%d %H:%M:%S"))
    print('-' * 120)
    for command in commands:
        output, error = ssh_command_with_key(hostname, port, username, key_file, command)
        csv_file = io.StringIO(output.decode())
        df = pd.read_csv(csv_file)
        print(df)
        print('-' * 120)

# 使用示例
hostname = ''
port = xx
username = ''
key_file = r''
# commands = ['nvidia-smi --query-compute-apps=gpu_name,pid,process_name,used_memory --format=csv']
commands = ['nvidia-smi --query-gpu=timestamp,name,memory.used,memory.total --format=csv',
            'nvidia-smi --query-compute-apps=gpu_name,pid,process_name,used_memory --format=csv']
msg = sever_gpu_status(hostname, port, username, key_file, commands)
```

代码运行结果如下：

![image.png](https://www.geaming.cn/static/img/d70c801e9b3b00861f5ac2f1d6fa49c8.image.png)

使用python查看远程服务器GPU使用情况

hf-mirror: https://hf-mirror.com/ ，该站用于镜像huggingface.co域名。使用方法转自镜像官方教程。




- 方法一：使用huggingface 官方提供的 huggingface-cli 命令行工具。

(1) 安装依赖
`pip install -U huggingface_hub`
(2) 基本命令示例：
`export HF_ENDPOINT=https://hf-mirror.com`

`huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m`
Copy
(3) 下载需要登录的模型（Gated Model）
请添加`--token hf_***`参数，其中`hf_***`是 access token，请在huggingface官网这里获取。示例：
`huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf`

- 方法二：

使用url直接下载时，将 huggingface.co 直接替换为本站域名hf-mirror.com。使用浏览器或者 wget -c、curl -L、aria2c 等命令行方式即可。
下载需登录的模型需命令行添加 `--header hf_***` 参数，`token` 获取具体参见上文。
方法三：(非侵入式，能解决大部分情况)huggingface 提供的包会获取系统变量，所以可以使用通过设置变量来解决。
`HF_ENDPOINT=https://hf-mirror.com python your_script.py`
不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了

hf-mirror

计划在单机多卡上全量微调 ChatGLM-6B，根据[官方仓库](https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md)的教程进行微调，然后报了这个错，自己也是研究了一下午，👀都要看出火星子了，终于发现了问题所在。




根据官方的[微调指令](https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md#%E5%BC%80%E5%A7%8B%E5%BE%AE%E8%B0%83)如下：
```
cd finetune_demo
OMP_NUM_THREADS=1 torchrun --standalone --nnodes=1 --nproc_per_node=8  finetune_hf.py  data/AdvertiseGen/  THUDM/chatglm3-6b  configs/lora.yaml  --deepspeed ds_zero_2.json
```
因为其是Lora的微调方式，本人想要使用全量的方法，依据样例修改指令如下：
```
torchrun \
--standalone \
--nnodes=1 \
--nproc_per_node=2  \
ChatGLM3/finetune_demo/finetune_hf.py \
sft_dataset \
THUDM/chatglm3-6b \
ChatGLM3/finetune_demo/configs/sft.yaml \
--deepspeed ChatGLM3/finetune_demo/configs/ds_zero_3.json
```
报错如下：

![image.png](https://www.geaming.cn/static/img/b72ab67f950ad6d949aaf18926477eb1.image.png)

主要的报错信息就是`Error: No such option: --deepspeed`
 
首先尝试不输入 `--deepspeed` 这一行，仍然会报错
`ValueError: Expected a string path to an existing deepspeed config, or a dictionary, or a base64 encoded string. Received: ds_zero_3.json`

既然我已经删除最后一行，那这个`ds_zero_3.json`是谁传入的呢，一看就是个人工传入的变量。

于是在`sft.yaml`中的最后一行发现了`deepspeed: ds_zero_3.json`。

![image.png](https://www.geaming.cn/static/img/ccc4d389866e4c13c299067c3a37120a.image.png)

原来是在全量sft时候，`deepspeed`文件是在`sft.yaml`中指定的，而不是像Lora，P-tuning在命令行指定。

将最后一行的文件路径修改为自己的`deepspeed.json`的路径，运行下面的命令便可以开始full微调了。
```
torchrun \
--standalone \
--nnodes=1 \
--nproc_per_node=2  \
ChatGLM3/finetune_demo/finetune_hf.py \
/sft_dataset \
THUDM/chatglm3-6b \
ChatGLM3/finetune_demo/configs/sft.yaml
```

ChatGLM3-6B sft时报错`Error: No such option: -- deepspeed`

> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://arxiv.org/abs/2401.05856            |
> | Code & Data | https://figshare.com/s/fbf7805b5f20d7f7e356 |
> | Public      | CAIN                                       |
> | Date        | 2024.01.05                                  |


这篇文章主要研究的是 **RAG** 系统，从 SE 的角度去研究 **RAG** 系统 (投的是 CAIN)，并且总结了**7个 FP (Failure Point)**。

**RAG system 的目的：**
- 减少LLMs的幻觉问题；
- 将资料与生成的答复联系起来，即注入新的知识 (not finetuning)；
- 消除用元数据注释文件的需要 (原文是 "remove the need for annotating documents with meta-data"，个人不是很明白在讲哪方面😇)；

**两个重要的启示：** (感觉是 SE 的相关看法)
- 只有在运行过程中才能对 RAG 系统进行验证；
- RAG 系统的稳健性是逐渐形成的，而不是一开始就设计好的；

> *We conclude with a list of potential research directions on RAG systems for the software engineering community.*
> *——"Seven Failure Points When Engineering a Retrieval Augmented Generation System"*

当涉及到新数据或是特定领域的知识时，LLMs 存在局限性。有两个解决方法：
1. Finetuning
2. RAG

**文章主要探讨的问题：**
1. What are the failure points that occur when engineering a RAG system?
2. What are the key considerations when engineering a RAG system?

RAG 的工作原理是将自然语言查询转换为嵌入式查询，然后用嵌入式查询对一组文档进行语义搜索。然后将检索到的文档传递给大型语言模型，生成答案。

![image.png](https://www.geaming.cn/static/img/5fff80ef79f9183a95849407053c507c.image.png)

文中研究的3个 case：

![image.png](https://www.geaming.cn/static/img/f15134b51c3c7a58008f543171d7a22b.image.png)

**7 FPs：**
1. **Missing Content**
    第一种失败情况是提出的问题无法从现有文件中找到答案。在这种情况下，RAG 系统会给出类似 "对不起，我不知道 "的回复。但是，对于与内容相关但没有答案的问题，系统可能会受骗上当，给出答复。
2. **Missed the Top Ranked Documents**
    问题的答案在文档中，但排名不够靠前，无法返回给用户。理论上，所有文档都会被排序并用于下一步。但在实际操作中，会返回排名前 K 的文档，其中 K 是根据性能选择的值。
3. **Not in Context - Consideration strategy Limitations**
    从数据库中检索到有答案的文档，但没有生成答案。这种情况发生在从数据库返回许多文档并进行合并处理以检索答案时。
4. **Not Extracted**
    在这种情况下，上下文中存在答案，但大语言模型未能提取出正确答案。通常情况下，当上下文中存在过多噪音或矛盾信息时，就会出现这种情况。
5. **Wrong Format**
    该问题涉及以表格或列表等特定格式提取信息，而大型语言模型忽略了该指令。
6. **Incorrect Specificity**
    答案在回复中返回，但不够具体或过于具体，无法满足用户的需求。当 RAG 系统设计者对给定问题（如学生的教师）有预期结果时，就会出现这种情况。在这种情况下，应在提供答案的同时提供具体的教育内容，而不仅仅是答案。当用户不确定如何提问而过于笼统时，也会出现不正确的具体性。
7. **Incomplete**
    不完整的答案并非不正确，而是遗漏了部分信息，即使这些信息在上下文中可以提取。例如，"文件 A、B 和 C 中涉及的要点是什么？更好的方法是分别提出这些问题。

![image.png](https://www.geaming.cn/static/img/54fb9e0e7435db4ef98406318d438c95.image.png)

同时文中还专门讨论了 6.1 Chunking and Embeddings。个人认为也是在 RAG 中需要重视的部分，万物皆可 Embedding😋，而 Chunking 听起来很简单而往往被忽略掉。

**Chunking and Embeddings：**

- 给文档分块听起来微不足道。然而，分块的质量会在很多方面影响检索过程，尤其是分块的嵌入会影响分块与用户查询的相似度和匹配度。分块有两种方法：基于启发式的分块（使用标点符号、段落结尾等）和语义分块（使用文本中的语义来告知分块的起点和终点）。进一步的研究应探讨这些方法之间的权衡及其对嵌入和相似性匹配等关键下游流程的影响。建立一个系统的评估框架，在查询相关性和检索准确性等指标上对分块技术进行比较，将使该领域受益匪浅。

- 嵌入是另一个活跃的研究领域，包括为多媒体和多模态块（如表格、数字、公式等）生成嵌入。在系统开发过程中或为新文档编制索引时，通常会创建一次块嵌入。查询预处理会极大地影响 RAG 系统的性能，尤其是在处理负面或模糊查询时。需要进一步研究架构模式和方法，以解决嵌入的固有局限性（匹配的质量取决于具体领域）。