因为组里面有服务器GPU资源，有些时候想要查看各个服务器的GPU资源使用情况，如果是用ssh连接，再使用`nvidia-smi`命令查看太过麻烦了，便想要写一个`python`脚本，只需要在本机上运行代码即可查看目标服务器GPU使用情况。



代码思路如下：

```mermaid
graph TD
Step1:使用paramiko库远程连接服务器 --> Step2:使用命令行nvidia-smi获取相关信息 -->Step3:将获得的输出流转化为DataFrame进行打印
```

**Step1:使用paramiko库远程连接服务器**

在这里主要是使用了`paramiko`库，因为连接方式使用的是密钥文件的方式所以传入的是`key_file`而不是`password`。如果是密码连接的方式可以自行对下面的代码进行修改。

```python
def ssh_command_with_key(hostname, port, username, key_file, command):
    # 创建SSH客户端
    client = paramiko.SSHClient()
    # 自动添加服务器的主机名和密钥到本地HostKeys对象，不推荐在生产环境中使用
    client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

    try:
        # 使用私钥文件
        mykey = paramiko.RSAKey.from_private_key_file(key_file)

        # 连接到远程服务器
        client.connect(hostname, port, username, pkey=mykey)

        # 执行命令
        stdin, stdout, stderr = client.exec_command(command)

        # 读取命令的标准输出和标准错误
        output = stdout.read()
        error = stderr.read()

        return output, error

    finally:
        # 关闭连接
        client.close()
```

**Step2:使用命令行nvidia-smi获取相关信息**

通过上面的连接服务器代码，能让我们运行`command`指令，这里主要涉及到下面两个命令，分别是显卡信息查询和任务信息查询，即分别查询显卡状态以及当前正在运行的任务状态。同时添加`--format=csv`参数，方便后续读入`DataFrame`。

```shell
nvidia-smi --query-gpu=timestamp,name,memory.used,memory.total --format=csv
```

```shell
nvidia-smi --query-compute-apps=gpu_name,pid,process_name,used_memory --format=csv
```

**Step3:将获得的输出流转化为DataFrame进行打印**

将获取到的输入流读入为`DataFrame`格式，方便查看。

```python
        output, error = ssh_command_with_key(hostname, port, username, key_file, command)
        csv_file = io.StringIO(output.decode())
        df = pd.read_csv(csv_file)
```
**完整代码**
```python
import io
import paramiko
import pandas as pd
from datetime import datetime

# 设置显示选项
pd.set_option('display.max_rows', 100)
pd.set_option('display.max_columns', 5)
pd.set_option('display.width', 1000)


def ssh_command_with_key(hostname, port, username, key_file, command):
    # 创建SSH客户端
    client = paramiko.SSHClient()
    # 自动添加服务器的主机名和密钥到本地HostKeys对象，不推荐在生产环境中使用
    client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

    try:
        # 使用私钥文件
        mykey = paramiko.RSAKey.from_private_key_file(key_file)

        # 连接到远程服务器
        client.connect(hostname, port, username, pkey=mykey)

        # 执行命令
        stdin, stdout, stderr = client.exec_command(command)

        # 读取命令的标准输出和标准错误
        output = stdout.read()
        error = stderr.read()

        return output, error

    finally:
        # 关闭连接
        client.close()

def sever_gpu_status(hostname, port, username, key_file, commands):
    # time_stamp print
    now = datetime.now()
    print("TIME_STAMP:", now.strftime("%Y-%m-%d %H:%M:%S"))
    print('-' * 120)
    for command in commands:
        output, error = ssh_command_with_key(hostname, port, username, key_file, command)
        csv_file = io.StringIO(output.decode())
        df = pd.read_csv(csv_file)
        print(df)
        print('-' * 120)

# 使用示例
hostname = ''
port = xx
username = ''
key_file = r''
# commands = ['nvidia-smi --query-compute-apps=gpu_name,pid,process_name,used_memory --format=csv']
commands = ['nvidia-smi --query-gpu=timestamp,name,memory.used,memory.total --format=csv',
            'nvidia-smi --query-compute-apps=gpu_name,pid,process_name,used_memory --format=csv']
msg = sever_gpu_status(hostname, port, username, key_file, commands)
```

代码运行结果如下：

![image.png](https://www.geaming.cn/static/img/d70c801e9b3b00861f5ac2f1d6fa49c8.image.png)

使用python查看远程服务器GPU使用情况

hf-mirror: https://hf-mirror.com/ ，该站用于镜像huggingface.co域名。使用方法转自镜像官方教程。




- 方法一：使用huggingface 官方提供的 huggingface-cli 命令行工具。

(1) 安装依赖
`pip install -U huggingface_hub`
(2) 基本命令示例：
`export HF_ENDPOINT=https://hf-mirror.com`

`huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m`
Copy
(3) 下载需要登录的模型（Gated Model）
请添加`--token hf_***`参数，其中`hf_***`是 access token，请在huggingface官网这里获取。示例：
`huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf`

- 方法二：

使用url直接下载时，将 huggingface.co 直接替换为本站域名hf-mirror.com。使用浏览器或者 wget -c、curl -L、aria2c 等命令行方式即可。
下载需登录的模型需命令行添加 `--header hf_***` 参数，`token` 获取具体参见上文。
方法三：(非侵入式，能解决大部分情况)huggingface 提供的包会获取系统变量，所以可以使用通过设置变量来解决。
`HF_ENDPOINT=https://hf-mirror.com python your_script.py`
不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了

hf-mirror

计划在单机多卡上全量微调 ChatGLM-6B，根据[官方仓库](https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md)的教程进行微调，然后报了这个错，自己也是研究了一下午，👀都要看出火星子了，终于发现了问题所在。




根据官方的[微调指令](https://github.com/THUDM/ChatGLM3/blob/main/finetune_demo/README.md#%E5%BC%80%E5%A7%8B%E5%BE%AE%E8%B0%83)如下：
```
cd finetune_demo
OMP_NUM_THREADS=1 torchrun --standalone --nnodes=1 --nproc_per_node=8  finetune_hf.py  data/AdvertiseGen/  THUDM/chatglm3-6b  configs/lora.yaml  --deepspeed ds_zero_2.json
```
因为其是Lora的微调方式，本人想要使用全量的方法，依据样例修改指令如下：
```
torchrun \
--standalone \
--nnodes=1 \
--nproc_per_node=2  \
ChatGLM3/finetune_demo/finetune_hf.py \
sft_dataset \
THUDM/chatglm3-6b \
ChatGLM3/finetune_demo/configs/sft.yaml \
--deepspeed ChatGLM3/finetune_demo/configs/ds_zero_3.json
```
报错如下：

![image.png](https://www.geaming.cn/static/img/b72ab67f950ad6d949aaf18926477eb1.image.png)

主要的报错信息就是`Error: No such option: --deepspeed`
 
首先尝试不输入 `--deepspeed` 这一行，仍然会报错
`ValueError: Expected a string path to an existing deepspeed config, or a dictionary, or a base64 encoded string. Received: ds_zero_3.json`

既然我已经删除最后一行，那这个`ds_zero_3.json`是谁传入的呢，一看就是个人工传入的变量。

于是在`sft.yaml`中的最后一行发现了`deepspeed: ds_zero_3.json`。

![image.png](https://www.geaming.cn/static/img/ccc4d389866e4c13c299067c3a37120a.image.png)

原来是在全量sft时候，`deepspeed`文件是在`sft.yaml`中指定的，而不是像Lora，P-tuning在命令行指定。

将最后一行的文件路径修改为自己的`deepspeed.json`的路径，运行下面的命令便可以开始full微调了。
```
torchrun \
--standalone \
--nnodes=1 \
--nproc_per_node=2  \
ChatGLM3/finetune_demo/finetune_hf.py \
/sft_dataset \
THUDM/chatglm3-6b \
ChatGLM3/finetune_demo/configs/sft.yaml
```

ChatGLM3-6B sft时报错`Error: No such option: -- deepspeed`

> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://arxiv.org/abs/2401.05856            |
> | Code & Data | https://figshare.com/s/fbf7805b5f20d7f7e356 |
> | Public      | CAIN                                       |
> | Date        | 2024.01.05                                  |


这篇文章主要研究的是 **RAG** 系统，从 SE 的角度去研究 **RAG** 系统 (投的是 CAIN)，并且总结了**7个 FP (Failure Point)**。

**RAG system 的目的：**
- 减少LLMs的幻觉问题；
- 将资料与生成的答复联系起来，即注入新的知识 (not finetuning)；
- 消除用元数据注释文件的需要 (原文是 "remove the need for annotating documents with meta-data"，个人不是很明白在讲哪方面😇)；

**两个重要的启示：** (感觉是 SE 的相关看法)
- 只有在运行过程中才能对 RAG 系统进行验证；
- RAG 系统的稳健性是逐渐形成的，而不是一开始就设计好的；

> *We conclude with a list of potential research directions on RAG systems for the software engineering community.*
> *——"Seven Failure Points When Engineering a Retrieval Augmented Generation System"*

当涉及到新数据或是特定领域的知识时，LLMs 存在局限性。有两个解决方法：
1. Finetuning
2. RAG

**文章主要探讨的问题：**
1. What are the failure points that occur when engineering a RAG system?
2. What are the key considerations when engineering a RAG system?

RAG 的工作原理是将自然语言查询转换为嵌入式查询，然后用嵌入式查询对一组文档进行语义搜索。然后将检索到的文档传递给大型语言模型，生成答案。

![image.png](https://www.geaming.cn/static/img/5fff80ef79f9183a95849407053c507c.image.png)

文中研究的3个 case：

![image.png](https://www.geaming.cn/static/img/f15134b51c3c7a58008f543171d7a22b.image.png)

**7 FPs：**
1. **Missing Content**
    第一种失败情况是提出的问题无法从现有文件中找到答案。在这种情况下，RAG 系统会给出类似 "对不起，我不知道 "的回复。但是，对于与内容相关但没有答案的问题，系统可能会受骗上当，给出答复。
2. **Missed the Top Ranked Documents**
    问题的答案在文档中，但排名不够靠前，无法返回给用户。理论上，所有文档都会被排序并用于下一步。但在实际操作中，会返回排名前 K 的文档，其中 K 是根据性能选择的值。
3. **Not in Context - Consideration strategy Limitations**
    从数据库中检索到有答案的文档，但没有生成答案。这种情况发生在从数据库返回许多文档并进行合并处理以检索答案时。
4. **Not Extracted**
    在这种情况下，上下文中存在答案，但大语言模型未能提取出正确答案。通常情况下，当上下文中存在过多噪音或矛盾信息时，就会出现这种情况。
5. **Wrong Format**
    该问题涉及以表格或列表等特定格式提取信息，而大型语言模型忽略了该指令。
6. **Incorrect Specificity**
    答案在回复中返回，但不够具体或过于具体，无法满足用户的需求。当 RAG 系统设计者对给定问题（如学生的教师）有预期结果时，就会出现这种情况。在这种情况下，应在提供答案的同时提供具体的教育内容，而不仅仅是答案。当用户不确定如何提问而过于笼统时，也会出现不正确的具体性。
7. **Incomplete**
    不完整的答案并非不正确，而是遗漏了部分信息，即使这些信息在上下文中可以提取。例如，"文件 A、B 和 C 中涉及的要点是什么？更好的方法是分别提出这些问题。

![image.png](https://www.geaming.cn/static/img/54fb9e0e7435db4ef98406318d438c95.image.png)

同时文中还专门讨论了 6.1 Chunking and Embeddings。个人认为也是在 RAG 中需要重视的部分，万物皆可 Embedding😋，而 Chunking 听起来很简单而往往被忽略掉。

**Chunking and Embeddings：**

- 给文档分块听起来微不足道。然而，分块的质量会在很多方面影响检索过程，尤其是分块的嵌入会影响分块与用户查询的相似度和匹配度。分块有两种方法：基于启发式的分块（使用标点符号、段落结尾等）和语义分块（使用文本中的语义来告知分块的起点和终点）。进一步的研究应探讨这些方法之间的权衡及其对嵌入和相似性匹配等关键下游流程的影响。建立一个系统的评估框架，在查询相关性和检索准确性等指标上对分块技术进行比较，将使该领域受益匪浅。

- 嵌入是另一个活跃的研究领域，包括为多媒体和多模态块（如表格、数字、公式等）生成嵌入。在系统开发过程中或为新文档编制索引时，通常会创建一次块嵌入。查询预处理会极大地影响 RAG 系统的性能，尤其是在处理负面或模糊查询时。需要进一步研究架构模式和方法，以解决嵌入的固有局限性（匹配的质量取决于具体领域）。

[CAIN-2024] Seven Failure Points When Engineering a Retrieval Augmented Generation System

# yt-dlp 使用向说明

需要在油管上下载一些视频，并且最好能够带有字幕，`yt-dlp`工具刚好就能满足我的需求。主要介绍安装以及一些基础的使用。其实 BiliBili 的视频也可以用该软件下载，替换成不同的链接即可。





## 安装

yt-dlp GitHub: https://github.com/yt-dlp/yt-dlp?tab=readme-ov-file#subtitle-options

在仓库首页 [INSTALLATION](https://github.com/yt-dlp/yt-dlp?tab=readme-ov-file#installation) 提供了不同平台的安装方式，如下所示。

![image.png](https://www.geaming.cn/static/img/e07adef190f5dd3c2bff6646945b26b6.image.png)

对于 Windows，点击第一个蓝色按钮，下载`.exe`文件，并且将其放入在任意一个系统路径的文件夹中就行。

安装成功的话，进入`cmd`窗口，输入`yt-dlp --version`显示如下：


![image.png](https://www.geaming.cn/static/img/58aeebad8b6f2adff408dbc55f2a3bdd.image.png)


## 油管下载视频测试

以 OpenAI 的 A Survey of Techniques for Maximizing LLM Performance 视频为例： https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI

基础操作：`yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI"`

![image.png](https://www.geaming.cn/static/img/e5f1220af112b0829e270851197c82c7.image.png)

可以看到这样就能够直接下载视频了，但是也发现了这样太过于简单，甚至不能指定分辨率等。

进阶操作：

- 首先查看当前视频支持的所有类型
    `yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" -F`
  
    ![image.png](https://www.geaming.cn/static/img/a09bdcf210c6b0a15c80c091856815c0.image.png)
    
    可以看到该视频有很多支持的格式，其中部分是`audio only`，`video only` 以及没有特殊标识的即为audio+video文件。
- 下载合并的文件`ID:22`
    `yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" --format 22`
    
    ![image.png](https://www.geaming.cn/static/img/50fc2c64df4afdf76f5419320c67cf53.image.png)

    可以看到该文件即是之前下载的文件。
    
- 下载`audio only`文件`ID:251` & `video only`文件`ID:616`
    
    往往更高分辨率的视频和音频是分开成两个文件的，于是我们下载两个文件，以期望或等更高的分辨率。
    
    `yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" --format 251,616`
    
    ![image.png](https://www.geaming.cn/static/img/f8ea2706974b82d87ed2c4c806b62f31.image.png)
    
    可以看到现在下载的两个文件`audio only` & `video only`，使用`ffmpeg`能够方便的将这两个文件进行合并。
    `ffmpeg -i [path to video] -i [path to audio] -c:v copy -c:a aac output.mp4`
    
    在这里命令为：
    
    `ffmpeg -i "A Survey of Techniques for Maximizing LLM Performance [ahnGLM-RC1Y].mp4" -i "A Survey of Techniques for Maximizing LLM Performance [ahnGLM-RC1Y].webm" -c:v copy -c:a aac output.mp4`
    
    ![image.png](https://www.geaming.cn/static/img/e63236796cee9f748ec322122fb06618.image.png)
    
    最后生成的`output.mp4`就是合并后的文件了。
    
- 下载字幕
    油管上的字幕也是一个十分好的功能，尽管是机翻的。
    查看当前视频支持的字幕语言`yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" --list-subs`
    
    ![image.png](https://www.geaming.cn/static/img/21225694c7a2c413154e04eb8597fc30.image.png)
    
    可以看到有许多的字幕文件，现在我们需要下载简体中文的字幕，即红框处。
    
    `yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" --write-auto-subs --sub-langs "zh-Hans"`
    
    ![image.png](https://www.geaming.cn/static/img/2b44084ae95f69b0d4c4ecbc4bb45579.image.png)
    
    这便是所有的下载文件了，我播放器使用的是`PotPlayer`能够非常方便的加入字幕文件，整个使用介绍就差不多over了🫠。

## 视频下载参数

在这里，我主要列出一些个人觉得比较常用的参数，完整的参数列表可以查看`yt-dlp` GitHub 仓库[参数](https://github.com/yt-dlp/yt-dlp?tab=readme-ov-file#usage-and-options)。

命令格式：`yt-dlp [OPTIONS] [--] URL [URL...]`

### General Options:
    -h, --help                      Print this help text and exit
    --version                       Print program version and exit
    -U, --update                    Update this program to the latest version
    --no-update                     Do not check for updates (default)
    --update-to [CHANNEL]@[TAG]     Upgrade/downgrade to a specific version.
                                    CHANNEL can be a repository as well. CHANNEL
                                    and TAG default to "stable" and "latest"
                                    respectively if omitted; See "UPDATE" for
                                    details. Supported channels: stable,
                                    nightly, master
    -i, --ignore-errors             Ignore download and postprocessing errors.
                                    The download will be considered successful
                                    even if the postprocessing fails
    --no-abort-on-error             Continue with next video on download errors;
                                    e.g. to skip unavailable videos in a
                                    playlist (default)
    --abort-on-error                Abort downloading of further videos if an
                                    error occurs (Alias: --no-ignore-errors)
    --dump-user-agent               Display the current user-agent and exit
    --list-extractors               List all supported extractors and exit
    --extractor-descriptions        Output descriptions of all supported
                                    extractors and exit
    --use-extractors NAMES          Extractor names to use separated by commas.
                                    You can also use regexes, "all", "default"
                                    and "end" (end URL matching); e.g. --ies
                                    "holodex.*,end,youtube". Prefix the name
                                    with a "-" to exclude it, e.g. --ies
                                    default,-generic. Use --list-extractors for
                                    a list of extractor names. (Alias: --ies)
    --default-search PREFIX         Use this prefix for unqualified URLs. E.g.
                                    "gvsearch2:python" downloads two videos from
                                    google videos for the search term "python".
                                    Use the value "auto" to let yt-dlp guess
                                    ("auto_warning" to emit a warning when
                                    guessing). "error" just throws an error. The
                                    default value "fixup_error" repairs broken
                                    URLs, but emits an error if this is not
                                    possible instead of searching
    --ignore-config                 Don't load any more configuration files
                                    except those given by --config-locations.
                                    For backward compatibility, if this option
                                    is found inside the system configuration
                                    file, the user configuration is not loaded.
                                    (Alias: --no-config)
    --no-config-locations           Do not load any custom configuration files
                                    (default). When given inside a configuration
                                    file, ignore all previous --config-locations
                                    defined in the current file
    --config-locations PATH         Location of the main configuration file;
                                    either the path to the config or its
                                    containing directory ("-" for stdin). Can be
                                    used multiple times and inside other
                                    configuration files
    --flat-playlist                 Do not extract the videos of a playlist,
                                    only list them
    --no-flat-playlist              Fully extract the videos of a playlist
                                    (default)
    --live-from-start               Download livestreams from the start.
                                    Currently only supported for YouTube
                                    (Experimental)
    --no-live-from-start            Download livestreams from the current time
                                    (default)
    --wait-for-video MIN[-MAX]      Wait for scheduled streams to become
                                    available. Pass the minimum number of
                                    seconds (or range) to wait between retries
    --no-wait-for-video             Do not wait for scheduled streams (default)
    --mark-watched                  Mark videos watched (even with --simulate)
    --no-mark-watched               Do not mark videos watched (default)
    --color [STREAM:]POLICY         Whether to emit color codes in output,
                                    optionally prefixed by the STREAM (stdout or
                                    stderr) to apply the setting to. Can be one
                                    of "always", "auto" (default), "never", or
                                    "no_color" (use non color terminal
                                    sequences). Can be used multiple times
    --compat-options OPTS           Options that can help keep compatibility
                                    with youtube-dl or youtube-dlc
                                    configurations by reverting some of the
                                    changes made in yt-dlp. See "Differences in
                                    default behavior" for details
    --alias ALIASES OPTIONS         Create aliases for an option string. Unless
                                    an alias starts with a dash "-", it is
                                    prefixed with "--". Arguments are parsed
                                    according to the Python string formatting
                                    mini-language. E.g. --alias get-audio,-X
                                    "-S=aext:{0},abr -x --audio-format {0}"
                                    creates options "--get-audio" and "-X" that
                                    takes an argument (ARG0) and expands to
                                    "-S=aext:ARG0,abr -x --audio-format ARG0".
                                    All defined aliases are listed in the --help
                                    output. Alias options can trigger more
                                    aliases; so be careful to avoid defining
                                    recursive options. As a safety measure, each
                                    alias may be triggered a maximum of 100
                                    times. This option can be used multiple times

### Video Format Options:
    -f, --format FORMAT             Video format code, see "FORMAT SELECTION"
                                    for more details
    -S, --format-sort SORTORDER     Sort the formats by the fields given, see
                                    "Sorting Formats" for more details
    --format-sort-force             Force user specified sort order to have
                                    precedence over all fields, see "Sorting
                                    Formats" for more details (Alias: --S-force)
    --no-format-sort-force          Some fields have precedence over the user
                                    specified sort order (default)
    --video-multistreams            Allow multiple video streams to be merged
                                    into a single file
    --no-video-multistreams         Only one video stream is downloaded for each
                                    output file (default)
    --audio-multistreams            Allow multiple audio streams to be merged
                                    into a single file
    --no-audio-multistreams         Only one audio stream is downloaded for each
                                    output file (default)
    --prefer-free-formats           Prefer video formats with free containers
                                    over non-free ones of same quality. Use with
                                    "-S ext" to strictly prefer free containers
                                    irrespective of quality
    --no-prefer-free-formats        Don't give any special preference to free
                                    containers (default)
    --check-formats                 Make sure formats are selected only from
                                    those that are actually downloadable
    --check-all-formats             Check all formats for whether they are
                                    actually downloadable
    --no-check-formats              Do not check that the formats are actually
                                    downloadable
    -F, --list-formats              List available formats of each video.
                                    Simulate unless --no-simulate is used
    --merge-output-format FORMAT    Containers that may be used when merging
                                    formats, separated by "/", e.g. "mp4/mkv".
                                    Ignored if no merge is required. (currently
                                    supported: avi, flv, mkv, mov, mp4, webm)

### Subtitle Options:
    --write-subs                    Write subtitle file
    --no-write-subs                 Do not write subtitle file (default)
    --write-auto-subs               Write automatically generated subtitle file
                                    (Alias: --write-automatic-subs)
    --no-write-auto-subs            Do not write auto-generated subtitles
                                    (default) (Alias: --no-write-automatic-subs)
    --list-subs                     List available subtitles of each video.
                                    Simulate unless --no-simulate is used
    --sub-format FORMAT             Subtitle format; accepts formats preference,
                                    e.g. "srt" or "ass/srt/best"
    --sub-langs LANGS               Languages of the subtitles to download (can
                                    be regex) or "all" separated by commas, e.g.
                                    --sub-langs "en.*,ja". You can prefix the
                                    language code with a "-" to exclude it from
                                    the requested languages, e.g. --sub-langs
                                    all,-live_chat. Use --list-subs for a list
                                    of available language tags