> | Resource | Info |
> | :---        |:---                                         |
> | Paper       | https://arxiv.org/abs/2401.05856            |
> | Code & Data | https://figshare.com/s/fbf7805b5f20d7f7e356 |
> | Public      | CAIN                                       |
> | Date        | 2024.01.05                                  |


这篇文章主要研究的是 **RAG** 系统，从 SE 的角度去研究 **RAG** 系统 (投的是 CAIN)，并且总结了**7个 FP (Failure Point)**。

**RAG system 的目的：**
- 减少LLMs的幻觉问题；
- 将资料与生成的答复联系起来，即注入新的知识 (not finetuning)；
- 消除用元数据注释文件的需要 (原文是 "remove the need for annotating documents with meta-data"，个人不是很明白在讲哪方面😇)；

**两个重要的启示：** (感觉是 SE 的相关看法)
- 只有在运行过程中才能对 RAG 系统进行验证；
- RAG 系统的稳健性是逐渐形成的，而不是一开始就设计好的；

> *We conclude with a list of potential research directions on RAG systems for the software engineering community.*
> *——"Seven Failure Points When Engineering a Retrieval Augmented Generation System"*

当涉及到新数据或是特定领域的知识时，LLMs 存在局限性。有两个解决方法：
1. Finetuning
2. RAG

**文章主要探讨的问题：**
1. What are the failure points that occur when engineering a RAG system?
2. What are the key considerations when engineering a RAG system?

RAG 的工作原理是将自然语言查询转换为嵌入式查询，然后用嵌入式查询对一组文档进行语义搜索。然后将检索到的文档传递给大型语言模型，生成答案。

![image.png](https://www.geaming.cn/static/img/5fff80ef79f9183a95849407053c507c.image.png)

文中研究的3个 case：

![image.png](https://www.geaming.cn/static/img/f15134b51c3c7a58008f543171d7a22b.image.png)

**7 FPs：**
1. **Missing Content**
    第一种失败情况是提出的问题无法从现有文件中找到答案。在这种情况下，RAG 系统会给出类似 "对不起，我不知道 "的回复。但是，对于与内容相关但没有答案的问题，系统可能会受骗上当，给出答复。
2. **Missed the Top Ranked Documents**
    问题的答案在文档中，但排名不够靠前，无法返回给用户。理论上，所有文档都会被排序并用于下一步。但在实际操作中，会返回排名前 K 的文档，其中 K 是根据性能选择的值。
3. **Not in Context - Consideration strategy Limitations**
    从数据库中检索到有答案的文档，但没有生成答案。这种情况发生在从数据库返回许多文档并进行合并处理以检索答案时。
4. **Not Extracted**
    在这种情况下，上下文中存在答案，但大语言模型未能提取出正确答案。通常情况下，当上下文中存在过多噪音或矛盾信息时，就会出现这种情况。
5. **Wrong Format**
    该问题涉及以表格或列表等特定格式提取信息，而大型语言模型忽略了该指令。
6. **Incorrect Specificity**
    答案在回复中返回，但不够具体或过于具体，无法满足用户的需求。当 RAG 系统设计者对给定问题（如学生的教师）有预期结果时，就会出现这种情况。在这种情况下，应在提供答案的同时提供具体的教育内容，而不仅仅是答案。当用户不确定如何提问而过于笼统时，也会出现不正确的具体性。
7. **Incomplete**
    不完整的答案并非不正确，而是遗漏了部分信息，即使这些信息在上下文中可以提取。例如，"文件 A、B 和 C 中涉及的要点是什么？更好的方法是分别提出这些问题。

![image.png](https://www.geaming.cn/static/img/54fb9e0e7435db4ef98406318d438c95.image.png)

同时文中还专门讨论了 6.1 Chunking and Embeddings。个人认为也是在 RAG 中需要重视的部分，万物皆可 Embedding😋，而 Chunking 听起来很简单而往往被忽略掉。

**Chunking and Embeddings：**

- 给文档分块听起来微不足道。然而，分块的质量会在很多方面影响检索过程，尤其是分块的嵌入会影响分块与用户查询的相似度和匹配度。分块有两种方法：基于启发式的分块（使用标点符号、段落结尾等）和语义分块（使用文本中的语义来告知分块的起点和终点）。进一步的研究应探讨这些方法之间的权衡及其对嵌入和相似性匹配等关键下游流程的影响。建立一个系统的评估框架，在查询相关性和检索准确性等指标上对分块技术进行比较，将使该领域受益匪浅。

- 嵌入是另一个活跃的研究领域，包括为多媒体和多模态块（如表格、数字、公式等）生成嵌入。在系统开发过程中或为新文档编制索引时，通常会创建一次块嵌入。查询预处理会极大地影响 RAG 系统的性能，尤其是在处理负面或模糊查询时。需要进一步研究架构模式和方法，以解决嵌入的固有局限性（匹配的质量取决于具体领域）。

[CAIN-2024] Seven Failure Points When Engineering a Retrieval Augmented Generation System

# yt-dlp 使用向说明

需要在油管上下载一些视频，并且最好能够带有字幕，`yt-dlp`工具刚好就能满足我的需求。主要介绍安装以及一些基础的使用。其实 BiliBili 的视频也可以用该软件下载，替换成不同的链接即可。





## 安装

yt-dlp GitHub: https://github.com/yt-dlp/yt-dlp?tab=readme-ov-file#subtitle-options

在仓库首页 [INSTALLATION](https://github.com/yt-dlp/yt-dlp?tab=readme-ov-file#installation) 提供了不同平台的安装方式，如下所示。

![image.png](https://www.geaming.cn/static/img/e07adef190f5dd3c2bff6646945b26b6.image.png)

对于 Windows，点击第一个蓝色按钮，下载`.exe`文件，并且将其放入在任意一个系统路径的文件夹中就行。

安装成功的话，进入`cmd`窗口，输入`yt-dlp --version`显示如下：


![image.png](https://www.geaming.cn/static/img/58aeebad8b6f2adff408dbc55f2a3bdd.image.png)


## 油管下载视频测试

以 OpenAI 的 A Survey of Techniques for Maximizing LLM Performance 视频为例： https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI

基础操作：`yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI"`

![image.png](https://www.geaming.cn/static/img/e5f1220af112b0829e270851197c82c7.image.png)

可以看到这样就能够直接下载视频了，但是也发现了这样太过于简单，甚至不能指定分辨率等。

进阶操作：

- 首先查看当前视频支持的所有类型
    `yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" -F`
  
    ![image.png](https://www.geaming.cn/static/img/a09bdcf210c6b0a15c80c091856815c0.image.png)
    
    可以看到该视频有很多支持的格式，其中部分是`audio only`，`video only` 以及没有特殊标识的即为audio+video文件。
- 下载合并的文件`ID:22`
    `yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" --format 22`
    
    ![image.png](https://www.geaming.cn/static/img/50fc2c64df4afdf76f5419320c67cf53.image.png)

    可以看到该文件即是之前下载的文件。
    
- 下载`audio only`文件`ID:251` & `video only`文件`ID:616`
    
    往往更高分辨率的视频和音频是分开成两个文件的，于是我们下载两个文件，以期望或等更高的分辨率。
    
    `yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" --format 251,616`
    
    ![image.png](https://www.geaming.cn/static/img/f8ea2706974b82d87ed2c4c806b62f31.image.png)
    
    可以看到现在下载的两个文件`audio only` & `video only`，使用`ffmpeg`能够方便的将这两个文件进行合并。
    `ffmpeg -i [path to video] -i [path to audio] -c:v copy -c:a aac output.mp4`
    
    在这里命令为：
    
    `ffmpeg -i "A Survey of Techniques for Maximizing LLM Performance [ahnGLM-RC1Y].mp4" -i "A Survey of Techniques for Maximizing LLM Performance [ahnGLM-RC1Y].webm" -c:v copy -c:a aac output.mp4`
    
    ![image.png](https://www.geaming.cn/static/img/e63236796cee9f748ec322122fb06618.image.png)
    
    最后生成的`output.mp4`就是合并后的文件了。
    
- 下载字幕
    油管上的字幕也是一个十分好的功能，尽管是机翻的。
    查看当前视频支持的字幕语言`yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" --list-subs`
    
    ![image.png](https://www.geaming.cn/static/img/21225694c7a2c413154e04eb8597fc30.image.png)
    
    可以看到有许多的字幕文件，现在我们需要下载简体中文的字幕，即红框处。
    
    `yt-dlp "https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI" --write-auto-subs --sub-langs "zh-Hans"`
    
    ![image.png](https://www.geaming.cn/static/img/2b44084ae95f69b0d4c4ecbc4bb45579.image.png)
    
    这便是所有的下载文件了，我播放器使用的是`PotPlayer`能够非常方便的加入字幕文件，整个使用介绍就差不多over了🫠。

## 视频下载参数

在这里，我主要列出一些个人觉得比较常用的参数，完整的参数列表可以查看`yt-dlp` GitHub 仓库[参数](https://github.com/yt-dlp/yt-dlp?tab=readme-ov-file#usage-and-options)。

命令格式：`yt-dlp [OPTIONS] [--] URL [URL...]`

### General Options:
    -h, --help                      Print this help text and exit
    --version                       Print program version and exit
    -U, --update                    Update this program to the latest version
    --no-update                     Do not check for updates (default)
    --update-to [CHANNEL]@[TAG]     Upgrade/downgrade to a specific version.
                                    CHANNEL can be a repository as well. CHANNEL
                                    and TAG default to "stable" and "latest"
                                    respectively if omitted; See "UPDATE" for
                                    details. Supported channels: stable,
                                    nightly, master
    -i, --ignore-errors             Ignore download and postprocessing errors.
                                    The download will be considered successful
                                    even if the postprocessing fails
    --no-abort-on-error             Continue with next video on download errors;
                                    e.g. to skip unavailable videos in a
                                    playlist (default)
    --abort-on-error                Abort downloading of further videos if an
                                    error occurs (Alias: --no-ignore-errors)
    --dump-user-agent               Display the current user-agent and exit
    --list-extractors               List all supported extractors and exit
    --extractor-descriptions        Output descriptions of all supported
                                    extractors and exit
    --use-extractors NAMES          Extractor names to use separated by commas.
                                    You can also use regexes, "all", "default"
                                    and "end" (end URL matching); e.g. --ies
                                    "holodex.*,end,youtube". Prefix the name
                                    with a "-" to exclude it, e.g. --ies
                                    default,-generic. Use --list-extractors for
                                    a list of extractor names. (Alias: --ies)
    --default-search PREFIX         Use this prefix for unqualified URLs. E.g.
                                    "gvsearch2:python" downloads two videos from
                                    google videos for the search term "python".
                                    Use the value "auto" to let yt-dlp guess
                                    ("auto_warning" to emit a warning when
                                    guessing). "error" just throws an error. The
                                    default value "fixup_error" repairs broken
                                    URLs, but emits an error if this is not
                                    possible instead of searching
    --ignore-config                 Don't load any more configuration files
                                    except those given by --config-locations.
                                    For backward compatibility, if this option
                                    is found inside the system configuration
                                    file, the user configuration is not loaded.
                                    (Alias: --no-config)
    --no-config-locations           Do not load any custom configuration files
                                    (default). When given inside a configuration
                                    file, ignore all previous --config-locations
                                    defined in the current file
    --config-locations PATH         Location of the main configuration file;
                                    either the path to the config or its
                                    containing directory ("-" for stdin). Can be
                                    used multiple times and inside other
                                    configuration files
    --flat-playlist                 Do not extract the videos of a playlist,
                                    only list them
    --no-flat-playlist              Fully extract the videos of a playlist
                                    (default)
    --live-from-start               Download livestreams from the start.
                                    Currently only supported for YouTube
                                    (Experimental)
    --no-live-from-start            Download livestreams from the current time
                                    (default)
    --wait-for-video MIN[-MAX]      Wait for scheduled streams to become
                                    available. Pass the minimum number of
                                    seconds (or range) to wait between retries
    --no-wait-for-video             Do not wait for scheduled streams (default)
    --mark-watched                  Mark videos watched (even with --simulate)
    --no-mark-watched               Do not mark videos watched (default)
    --color [STREAM:]POLICY         Whether to emit color codes in output,
                                    optionally prefixed by the STREAM (stdout or
                                    stderr) to apply the setting to. Can be one
                                    of "always", "auto" (default), "never", or
                                    "no_color" (use non color terminal
                                    sequences). Can be used multiple times
    --compat-options OPTS           Options that can help keep compatibility
                                    with youtube-dl or youtube-dlc
                                    configurations by reverting some of the
                                    changes made in yt-dlp. See "Differences in
                                    default behavior" for details
    --alias ALIASES OPTIONS         Create aliases for an option string. Unless
                                    an alias starts with a dash "-", it is
                                    prefixed with "--". Arguments are parsed
                                    according to the Python string formatting
                                    mini-language. E.g. --alias get-audio,-X
                                    "-S=aext:{0},abr -x --audio-format {0}"
                                    creates options "--get-audio" and "-X" that
                                    takes an argument (ARG0) and expands to
                                    "-S=aext:ARG0,abr -x --audio-format ARG0".
                                    All defined aliases are listed in the --help
                                    output. Alias options can trigger more
                                    aliases; so be careful to avoid defining
                                    recursive options. As a safety measure, each
                                    alias may be triggered a maximum of 100
                                    times. This option can be used multiple times

### Video Format Options:
    -f, --format FORMAT             Video format code, see "FORMAT SELECTION"
                                    for more details
    -S, --format-sort SORTORDER     Sort the formats by the fields given, see
                                    "Sorting Formats" for more details
    --format-sort-force             Force user specified sort order to have
                                    precedence over all fields, see "Sorting
                                    Formats" for more details (Alias: --S-force)
    --no-format-sort-force          Some fields have precedence over the user
                                    specified sort order (default)
    --video-multistreams            Allow multiple video streams to be merged
                                    into a single file
    --no-video-multistreams         Only one video stream is downloaded for each
                                    output file (default)
    --audio-multistreams            Allow multiple audio streams to be merged
                                    into a single file
    --no-audio-multistreams         Only one audio stream is downloaded for each
                                    output file (default)
    --prefer-free-formats           Prefer video formats with free containers
                                    over non-free ones of same quality. Use with
                                    "-S ext" to strictly prefer free containers
                                    irrespective of quality
    --no-prefer-free-formats        Don't give any special preference to free
                                    containers (default)
    --check-formats                 Make sure formats are selected only from
                                    those that are actually downloadable
    --check-all-formats             Check all formats for whether they are
                                    actually downloadable
    --no-check-formats              Do not check that the formats are actually
                                    downloadable
    -F, --list-formats              List available formats of each video.
                                    Simulate unless --no-simulate is used
    --merge-output-format FORMAT    Containers that may be used when merging
                                    formats, separated by "/", e.g. "mp4/mkv".
                                    Ignored if no merge is required. (currently
                                    supported: avi, flv, mkv, mov, mp4, webm)

### Subtitle Options:
    --write-subs                    Write subtitle file
    --no-write-subs                 Do not write subtitle file (default)
    --write-auto-subs               Write automatically generated subtitle file
                                    (Alias: --write-automatic-subs)
    --no-write-auto-subs            Do not write auto-generated subtitles
                                    (default) (Alias: --no-write-automatic-subs)
    --list-subs                     List available subtitles of each video.
                                    Simulate unless --no-simulate is used
    --sub-format FORMAT             Subtitle format; accepts formats preference,
                                    e.g. "srt" or "ass/srt/best"
    --sub-langs LANGS               Languages of the subtitles to download (can
                                    be regex) or "all" separated by commas, e.g.
                                    --sub-langs "en.*,ja". You can prefix the
                                    language code with a "-" to exclude it from
                                    the requested languages, e.g. --sub-langs
                                    all,-live_chat. Use --list-subs for a list
                                    of available language tags

yt-dlp 使用向说明

# 圆周长公式推导
前几天看到有人再群里说如何推导 $C=2\pi r$，自己私下推导了一下。当然有些微积分的公式也忘了，群里求助了一些考研同学的帮助😂，本人数学废物实锤了。


<img src="https://www.geaming.cn/static/img/8d2dac7ec91026eba2304be2e9f80e97.8D2DAC7EC91026EBA2304BE2E9F80E97.png" height="200">

1. 根据余弦公式有$\Large d^2=r^2+r^2-2r^2\cos\alpha$，则$\Large d=r\sqrt{2(1-\cos\alpha)}$
2. 多边形周长：$\Large C=\frac{2\pi}{\alpha}d=\frac{2\pi r}{\alpha}\sqrt{2(1-\cos\alpha)}$
3. 圆的周长：$\Large C=\lim_{\alpha\rightarrow0^+}\frac{2\pi r}{\alpha}\sqrt{2(1-\cos\alpha)}$
4. 计算：$\Large \lim_{\alpha\rightarrow0^+}\frac{\sqrt{2(1-\cos\alpha)}}{\alpha}$

    $\Large \sqrt{1-\cos\alpha}=\sqrt{1-(\cos^2\frac{\alpha}{2}-\sin^2\frac{\alpha}{2})}=\sqrt{2\sin^2\frac{\alpha}{2}}=\sqrt{2}\sin\frac{\alpha}{2} (\because \sin\frac{\alpha}{2}>0)$ 
    
    $\Large \lim_{\alpha\rightarrow 0^+}\frac{\sqrt{2}\sqrt{(1-\cos\alpha)}}{\alpha}=\lim_{\alpha\rightarrow 0^+}\frac{2\sin\frac{\alpha}{2}}{\alpha}=\lim_{\alpha\rightarrow 0^+}2\times\frac{(\sin\frac{\alpha}{2})^\prime}{1}=\lim_{\alpha\rightarrow 0^+}2\times\frac{\frac{1}{2}\cos\frac{\alpha}{2}}{1}=1$
5. 再带入上式可得 $\Large C=2\pi r$

圆周长公式推导 (个人向

# tmux 命令


`tmux` 是一个终端复用器（terminal multiplexer），它允许用户在一个终端窗口中访问多个独立的会话。使用 `tmux`，您可以创建、控制和管理多个终端会话，即使与服务器的连接断开，这些会话也会持续运行。这对于长时间运行的程序或需要从多个位置访问的会话特别有用。它提供了类似于图形用户界面应用程序的标签和窗格的功能，但全部在命令行环境中实现。



## `session` 操作

| 操作 | 效果 |
| :--- | :--- |
| `tmux ls` | 查看有所有 tmux 会话 |
| `tmux new -s <session>` | 新建tmux窗口 |
| `tmux rename-session -t <old-name> <new-name>` | 重命名会话 |
| `tmux detach` / `exit` | 退出`session` |
| `tmux at -t <session-name>` | 重新连接会话 |
| `tmux kill-session -t <session-name>` | 杀死会话 |
| `tmux switch -t <session-name>` | 切换会话 |

| 快捷操作 `ctrl+b` 触发 | 效果 |
| :--- | :--- |
|`s`|选择需要跳转的session会话|
|`d`|断开当前session|
|`c`|在当前session中多加一个window|
|`x`|关闭当前session中的当前window|


## `window` 快捷操作

以下的所有操作都是需要通过 `ctrl + b` 激活后使用。

| 命令 | 效果 |
| :--- | :--- |
| `c` | 创建新窗口 |
| `&` | 关闭当前窗口 |
| `数字键` | 切换至指定窗口 |
| `p` | 切换至上一窗口 |
| `n` | 切换至下一窗口 |
| `l` | 在前后两个窗口间互相切换 |

tmux 命令

在Neo4j Desktop中提供了APOC插件的直接安装，并且会直接匹配与当前使用的neo4j版本match的插件版本。当然也可能会和我一样报错:`Plugin failed to install.Error: net:ERR_CONNNECTION_TIMED_OUT`，这是因为上网的方式不够科学。

![1280X1280.PNG](https://www.geaming.cn/static/img/6595e3faf3504700275dd7ea172b2bcd.1280X1280.PNG)

可以在设置界面设置在自己的proxy，这样便可以继续上面的安装步骤。安装成功后可以把proxy给reset回来。
![image.png](https://www.geaming.cn/static/img/190760f8d5c9639fc77f212bbd07398d.image.png)
安装完成后插件界面如下所示：

![image.png](https://www.geaming.cn/static/img/33953d31026f0d751656b38b35c89895.image.png)
现在因为我们要使用`export`的功能，并且使得当前的知识图谱通过`.cypher`文件的方式保存至指定路径下，需要修改配置文件。之前的版本是通过`neo4j.conf`进行设置，但现在是单独通过`apoc.conf`进行控制，我们需要新建一个`apoc.conf`文件，并加入以下设置：
```plain text
apoc.export.file.enabled=true
apoc.import.file.use_neo4j_config=false
```
line1 是为了使得apoc能够执行export功能
line2 是因为后续指定路径为`file:path/1.cypher`如果不设置为false的话，会自动在路径前加上当前环境的路径。

![image.png](https://www.geaming.cn/static/img/8a1c9a480aab5064cc87f982b9e4d92a.image.png)

![image.png](https://www.geaming.cn/static/img/f23e02633f089e6c767221b2f7c7349c.image.png)

之后通过以下命令便可以保存模型，如我现在想要把文件保存到`E:/cypher/1.cypher`中，命令如下：
`CALL apoc.export.cypher.all("file:E:/cypher/1.cypher", {format: "plain"})`
如果想要通过`.cypher`文件重现知识图谱，只需要把`.cypher`文件中的所有内容复制到Neo4j Desktop中运行即可。

同时因为我是使用python写的脚本，顺带附上，帮助参考。
```python
def save(self, path:str):
    r"""
    Save the current knowledge graph to a specified path.
    If you want to use absolute path, please make sure to set apoc.conf as follows:
        apoc.export.file.enabled=true
        apoc.import.file.use_neo4j_config=false  

    Args:
        path (str): the specified path to save the knowledge graph
    Examples:
        >>> KG = nekg("bolt://localhost:7687", "neo4j", "password")
        >>> KG.save(r"E:\cypher\30.cypher")
    """
    with self.driver.session() as session:
        cypher_query = (
            f"CALL apoc.export.cypher.all(\"file:{path}\", {{format: \"plain\"}})"
        )
        result = session.run(cypher_query)
        return result.single()[0]

def load(self, path:str):
    r"""
    Load a knowledge graph from a specified cypher file path. Redo all cypher in the file.

    Args:
        path (str): the specified path to save the knowledge graph
    Examples:
        >>> KG = nekg("bolt://localhost:7687", "neo4j", "password")
        >>> KG.load(r"E:\cypher\30.cypher")
    """
    with open(path, 'r', encoding='utf-8') as file:
        cypher_content = file.read()
    # Split the contents of a file into individual statements.
    statements = [stmt.strip() for stmt in cypher_content.split(';') if stmt.strip()]
    with self.driver.session() as session:
        # Execute each statement individually
        for stmt in statements:
            session.run(stmt)
```