使用 spaCy / OpenIE 从文本中提取三元组

> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://ceur-ws.org/Vol-2699/paper07.pdf           |
> | Code & Data | https://github.com/ranyxr/dice_story                              |
> | Model       | https://drive.google.com/drive/folders/1T68rWkOde5ZwcuodQ9iWuYJAcqAmb0Jo |
> | Public      | CIKM                                        |
> | Date        | 2020.10.19                                  |


# Summary Overiew

这篇文章是2020年的，研究了如何将知识图谱模型与 LM 相结合，并且提出了一个 DICE 模型。当时还没有 LLM 的概念，但是作者还是使用了 GPT-2 这样的模型微调进行了测试，感觉作者对于未来趋势的把握还是十分不错的。

主要思想就是，通过根据 User 的关键词，根据构建好的知识图谱 KG，去寻找完善词语之间的关系，生成 SVO 三元组，并其通过三元组提交给语言模型生成最后的故事文本，这里作者的目标是生成短故事（5句话左右）。但是知识图谱在这里仅起到一个 enrich 的作用，并没有其他的作用。

# Main Content

<div align="center">
<img src="https://www.geaming.cn/static/img/ee16fc4c3726e406c4f7c1458c94acb1.image.png" alt="图片描述" height="800">
</div>

文章主要想要解决的问题：
 - Q1：在没有知识图谱嵌入的情况下，如何将语言模型与知识图谱结合起来生成故事？
 - Q2：使用知识图谱自动生成故事有哪些优缺点？

Contributions:

- 我们提出了一种结合知识图谱和语言模型的新方法，无需使用知识图谱嵌入即可生成文本。结果表明，我们可以有效地将知识图谱中的知识作为背景或情节注入到自动生成的故事中，从而在一定程度上控制这些故事的内容。
- 我们引入了一个经过微调的模型，该模型接受 SVO 三元组作为提示，而不是原始 GPT-2 模型使用的句子，从而利用 SVO 三元组提供的上下文生成合理而有创意的故事。

![image.png](https://www.geaming.cn/static/img/9920248aa41a5ddbe06d89218b1a0298.image.png)

该系统的任务是从一组 SVO 三元组中生成 5 句故事，这些三元组被提取出来并重新组合到一个知识图谱中。系统的预期输入是用户提供的一组关键词。图 2 显示了 DICE 系统的双层结构。我们使用 SVO 三元组作为连接知识丰富层和文本生成层的接口。SVO 三元组可以从知识图谱中构建，也可以从故事语料库中提取；同时，它们还可以作为语言模型生成故事的提示。系统首先利用知识图谱检查这些关键词之间的关系并添加其他信息，然后生成一组 SVO 三元组，供语言模型生成故事。

![image.png](https://www.geaming.cn/static/img/ceefa3f866f69c4a951ad630b5898d85.image.png)

示例生成的故事文本：

![image.png](https://www.geaming.cn/static/img/5224c9d4e9366afad07820ee34b011a6.image.png)

# Experiments

## Metrics

评估重点关注生成输出的两个方面：与故事无关的指标和与故事相关的指标。

![image.png](https://www.geaming.cn/static/img/0792659725b77c60e62025533822e0fb.image.png)

对于与故事无关的指标，我们使用自动分析工具 Grammarly 来评估生成文本的整体语法性能。

## Datasets

- ROCStories

## Results
为每个模型随机挑选了 100 个样本来评估它们的性能。

<div align="center">
<img src="https://www.geaming.cn/static/img/27a6921611123533cb18da1d0bcdf558.image.png" alt="Table 3">
<img src="https://www.geaming.cn/static/img/5d2fe9c3bd9ece71bd118eaf7d433344.image.png" alt="Table 4">
</div>

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   此篇论文提出了一种新的方法，将知识图谱与语言模型结合，用于创造性故事生成。该方法不依赖于知识图谱的嵌入，而是直接使用主谓宾（SVO）三元组作为提示来引导语言模型生成故事。这种方法有效地将知识图谱中的知识注入到自动生成的故事中，同时也能在一定程度上控制故事的内容。这一方法的关键在于使用SVO三元组作为连接知识丰富层和文本生成层的接口。

2. 论文中存在的问题及改进建议：
   - 问题：虽然该方法能够有效地利用SVO三元组影响故事情节，但它无法保证故事的连贯性，因为这些三元组是从故事的每个句子中单独提取的，且相互之间联系较弱。
   - 改进建议：可以考虑采用更复杂的结构化输入（如图形网络），以更好地捕获故事中的因果关系和逻辑流，从而提高故事的连贯性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   a. 探索使用图形神经网络来增强故事生成的连贯性和逻辑性，通过将SVO三元组以图形的形式组织，使得模型可以更好地理解和利用故事元素之间的关系。
   b. 开发一种新的语言模型训练方法，专门针对故事生成任务，例如通过模仿人类叙述故事的方式来训练模型。
   c. 利用更丰富的外部知识源，如历史数据库、文学作品集，来提供更多样化和深入的背景知识，从而生成更具创造性和多样性的故事。

4. 为新的研究路径制定的研究方案：
   a. 使用图形神经网络增强故事生成：
      - 研究方法：构建一个能够处理图形结构输入的语言模型，并使用图形神经网络来分析和理解SVO三元组之间的关系。
      - 步骤：首先构建一个包含人物、事件和地点等元素的图形网络，然后利用图形神经网络来学习这些元素之间的关系。最后，使用这些关系来引导故事生成。
      - 期望成果：生成的故事将具有更高的逻辑性和连贯性，同时保持创造性。

   b. 开发针对故事生成的语言模型训练方法：
      - 研究方法：分析人类故事叙述的特点，设计模拟这些特点的训练任务。
      - 步骤：通过对大量文学作品和口头叙述故事的分析，提取故事叙述的关键元素和模式，然后设计相应的训练任务来指导模型学习这些元素和模式。
      - 期望成果：培养出能够更自然、更具人类风格的故事叙述能力的语言模型。

   c. 利用丰富的外部知识源提升故事生成：
      - 研究方法：整合历史数据库、文学作品集等多元化知识源，为故事生成提供更广泛的背景知识。
      - 步骤：开发算法来整合和处理这些知识源，确保知识的准确性和适用性。然后将这些知识用于指导故事生成。
      - 期望成果：生成具有丰富背景、文化深度和创造性的故事。
:::

# Others

[使用 spaCy 从文本中提取三元组](https://www.geaming.cn/post/19)

[CIKM-2020] Creative Storytelling with Language Models and Knowledge Graphs

因为组里面有服务器GPU资源，有些时候想要查看各个服务器的GPU资源使用情况，如果是用ssh连接，再使用`nvidia-smi`命令查看太过麻烦了，便想要写一个`python`脚本，只需要在本机上运行代码即可查看目标服务器GPU使用情况。



代码思路如下：

```mermaid
graph TD
Step1:使用paramiko库远程连接服务器 --> Step2:使用命令行nvidia-smi获取相关信息 -->Step3:将获得的输出流转化为DataFrame进行打印
```

**Step1:使用paramiko库远程连接服务器**

在这里主要是使用了`paramiko`库，因为连接方式使用的是密钥文件的方式所以传入的是`key_file`而不是`password`。如果是密码连接的方式可以自行对下面的代码进行修改。

```python
def ssh_command_with_key(hostname, port, username, key_file, command):
    # 创建SSH客户端
    client = paramiko.SSHClient()
    # 自动添加服务器的主机名和密钥到本地HostKeys对象，不推荐在生产环境中使用
    client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

    try:
        # 使用私钥文件
        mykey = paramiko.RSAKey.from_private_key_file(key_file)

        # 连接到远程服务器
        client.connect(hostname, port, username, pkey=mykey)

        # 执行命令
        stdin, stdout, stderr = client.exec_command(command)

        # 读取命令的标准输出和标准错误
        output = stdout.read()
        error = stderr.read()

        return output, error

    finally:
        # 关闭连接
        client.close()
```

**Step2:使用命令行nvidia-smi获取相关信息**

通过上面的连接服务器代码，能让我们运行`command`指令，这里主要涉及到下面两个命令，分别是显卡信息查询和任务信息查询，即分别查询显卡状态以及当前正在运行的任务状态。同时添加`--format=csv`参数，方便后续读入`DataFrame`。

```shell
nvidia-smi --query-gpu=timestamp,name,memory.used,memory.total --format=csv
```

```shell
nvidia-smi --query-compute-apps=gpu_name,pid,process_name,used_memory --format=csv
```

**Step3:将获得的输出流转化为DataFrame进行打印**

将获取到的输入流读入为`DataFrame`格式，方便查看。

```python
        output, error = ssh_command_with_key(hostname, port, username, key_file, command)
        csv_file = io.StringIO(output.decode())
        df = pd.read_csv(csv_file)
```
**完整代码**
```python
import io
import paramiko
import pandas as pd
from datetime import datetime

# 设置显示选项
pd.set_option('display.max_rows', 100)
pd.set_option('display.max_columns', 5)
pd.set_option('display.width', 1000)


def ssh_command_with_key(hostname, port, username, key_file, command):
    # 创建SSH客户端
    client = paramiko.SSHClient()
    # 自动添加服务器的主机名和密钥到本地HostKeys对象，不推荐在生产环境中使用
    client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

    try:
        # 使用私钥文件
        mykey = paramiko.RSAKey.from_private_key_file(key_file)

        # 连接到远程服务器
        client.connect(hostname, port, username, pkey=mykey)

        # 执行命令
        stdin, stdout, stderr = client.exec_command(command)

        # 读取命令的标准输出和标准错误
        output = stdout.read()
        error = stderr.read()

        return output, error

    finally:
        # 关闭连接
        client.close()

def sever_gpu_status(hostname, port, username, key_file, commands):
    # time_stamp print
    now = datetime.now()
    print("TIME_STAMP:", now.strftime("%Y-%m-%d %H:%M:%S"))
    print('-' * 120)
    for command in commands:
        output, error = ssh_command_with_key(hostname, port, username, key_file, command)
        csv_file = io.StringIO(output.decode())
        df = pd.read_csv(csv_file)
        print(df)
        print('-' * 120)

# 使用示例
hostname = ''
port = xx
username = ''
key_file = r''
# commands = ['nvidia-smi --query-compute-apps=gpu_name,pid,process_name,used_memory --format=csv']
commands = ['nvidia-smi --query-gpu=timestamp,name,memory.used,memory.total --format=csv',
            'nvidia-smi --query-compute-apps=gpu_name,pid,process_name,used_memory --format=csv']
msg = sever_gpu_status(hostname, port, username, key_file, commands)
```

代码运行结果如下：

![image.png](https://www.geaming.cn/static/img/d70c801e9b3b00861f5ac2f1d6fa49c8.image.png)

使用python查看远程服务器GPU使用情况

hf-mirror: https://hf-mirror.com/ ，该站用于镜像huggingface.co域名。使用方法转自镜像官方教程。




- 方法一：使用huggingface 官方提供的 huggingface-cli 命令行工具。

(1) 安装依赖
`pip install -U huggingface_hub`
(2) 基本命令示例：
`export HF_ENDPOINT=https://hf-mirror.com`

`huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m`
Copy
(3) 下载需要登录的模型（Gated Model）
请添加`--token hf_***`参数，其中`hf_***`是 access token，请在huggingface官网这里获取。示例：
`huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf`

- 方法二：

使用url直接下载时，将 huggingface.co 直接替换为本站域名hf-mirror.com。使用浏览器或者 wget -c、curl -L、aria2c 等命令行方式即可。
下载需登录的模型需命令行添加 `--header hf_***` 参数，`token` 获取具体参见上文。
方法三：(非侵入式，能解决大部分情况)huggingface 提供的包会获取系统变量，所以可以使用通过设置变量来解决。
`HF_ENDPOINT=https://hf-mirror.com python your_script.py`
不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了

hf-mirror

计划在单机多卡上全量微调 ChatGLM-6B，根据[官方仓库](https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md)的教程进行微调，然后报了这个错，自己也是研究了一下午，👀都要看出火星子了，终于发现了问题所在。




根据官方的[微调指令](https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md#%E5%BC%80%E5%A7%8B%E5%BE%AE%E8%B0%83)如下：
```
cd finetune_demo
OMP_NUM_THREADS=1 torchrun --standalone --nnodes=1 --nproc_per_node=8  finetune_hf.py  data/AdvertiseGen/  THUDM/chatglm3-6b  configs/lora.yaml  --deepspeed ds_zero_2.json
```
因为其是Lora的微调方式，本人想要使用全量的方法，依据样例修改指令如下：
```
torchrun \
--standalone \
--nnodes=1 \
--nproc_per_node=2  \
ChatGLM3/finetune_demo/finetune_hf.py \
sft_dataset \
THUDM/chatglm3-6b \
ChatGLM3/finetune_demo/configs/sft.yaml \
--deepspeed ChatGLM3/finetune_demo/configs/ds_zero_3.json
```
报错如下：

![image.png](https://www.geaming.cn/static/img/b72ab67f950ad6d949aaf18926477eb1.image.png)

主要的报错信息就是`Error: No such option: --deepspeed`
 
首先尝试不输入 `--deepspeed` 这一行，仍然会报错
`ValueError: Expected a string path to an existing deepspeed config, or a dictionary, or a base64 encoded string. Received: ds_zero_3.json`

既然我已经删除最后一行，那这个`ds_zero_3.json`是谁传入的呢，一看就是个人工传入的变量。

于是在`sft.yaml`中的最后一行发现了`deepspeed: ds_zero_3.json`。

![image.png](https://www.geaming.cn/static/img/ccc4d389866e4c13c299067c3a37120a.image.png)

原来是在全量sft时候，`deepspeed`文件是在`sft.yaml`中指定的，而不是像Lora，P-tuning在命令行指定。

将最后一行的文件路径修改为自己的`deepspeed.json`的路径，运行下面的命令便可以开始full微调了。
```
torchrun \
--standalone \
--nnodes=1 \
--nproc_per_node=2  \
ChatGLM3/finetune_demo/finetune_hf.py \
/sft_dataset \
THUDM/chatglm3-6b \
ChatGLM3/finetune_demo/configs/sft.yaml
```