bypy - Python client for Baidu Yun (Personal Cloud Storage) 百度云/百度网盘Python客户端


仓库：https://github.com/houtianze/bypy

安装命令：
```shell
pip install bypy
```
**基本操作**

显示使用帮助和所有命令（英文）:
```shell
bypy
```
第一次运行时需要授权，只需跑任何一个命令（比如 bypy info）然后跟着说明（登陆等）来授权即可。授权只需一次，一旦成功，以后不会再出现授权提示.

更详细的了解某一个命令：
```shell
bypy help <command>
```
显示在云盘（程序的）根目录下文件列表：
```shell
bypy list
```

:::note{title="注"}
注意：使用同步操作同步文件时，同名文件会直接进行覆盖
:::

把当前目录同步到云盘：
```shell
bypy syncup
```
or
```shell
bypy upload
```
把云盘内容同步到本地来：
```shell
bypy syncdown
```
or
```shell
bypy downdir /
```
比较本地当前目录和云盘（程序的）根目录（个人认为非常有用）：
```
bypy compare
```

在网盘中的路径如下：

![image.png](/static/img/d6b6c8010b28c61cb0aab8e3eada7666.image.png)

bypy使用百度网盘

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2307.06290 |
> | Code & Data | / |
> | Public      | ArXiv |
> | Date        | 2024.04.10 |


# Summary Overview

大语言模型(LLM)在最初针对广泛的功能进行预训练，然后使用指令跟踪数据集(instruction-following datasets)进行微调，以提高其与人类交互的性能。尽管微调方面取得了进步，但选择高质量数据集来优化此过程的标准化方法依然难以捉摸。在本文中，作者提出了INSTRUCTMINING，旨在自动选择优质指令跟踪数据来微调LLM。具体来说，INSTRUCTMINING利用自然语言指标作为数据质量的衡量标准，将其应用于评估未见过的数据集。在实验过程中，我们发现大型语言模型微调中存在双下降现象。基于这一观察，作者进一步利用BLENDSEARCH来帮助找到整个数据集中的最佳子集。

# Main Content

最近的一项研究 LIMA 表明，即使是少量精心挑选的高质量指令数据也可以通过指令调优显着提高模型性能（Zhou et al., 2023）。为了解决这个问题，我们在评估集上使用微调模型产生的损失作为数据质量的代理。

![image.png](/static/img/2643b3614601bc1118f3b8eaf017c1d3.image.png)

选择数据的简单解决方法是选择前$K$个多质量的数据样本，但实践证明选择合适的$K$本身就很困难。

双下降现象(double descent phenomenon)表明，一旦数据大小超过特定的阈值，模型性能的主要决定因素就会从数据质量转变为数据数量。在这种情况下，关注初始的一组高质量数据点（例如，$K=10,000$）比仔细研究整个数据集更能有效地识别最佳点。

**Contributions:**
- 在这项工作中，我们率先应用经典数据挖掘技术，通过自主选择高质量数据来增强LLM。为了实现这一目标，我们引入了 INSTRUCTMINING，这是一种包含数据评估和选择过程的方法。
- 所提出的 INSTRUCTMINING 创新地将定制的语言指标与先进的搜索算法相结合，能够自动评估数据质量并识别微调语言模型的最佳子集。
- 使用 INSTRUCTMINING 进行微调的模型在两个最流行的基准测试中展现出最先进的性能：LLM-AS-A-JUDGE 和 Huggingface OPENLLM。同时，使用较少的训练数据可以有效减少训练时间和成本。

![image.png](/static/img/d0a5f316d9647f7d37283bb0e136ca18.image.png)

指令数据的质量可以被视为其有效引导语言模型学习以特定方式生成响应的能力。

**Hypothesis 1 Instruction Quality Evaluation Hypothesis**: 给出指令数据集$D$，在该数据集上微调LLM，获得$M_{ft}$。$D$的指令质量可以通过$M_{ft}$在评估数据集$D_{eval}$上的推理损失来估计。
$$
Q_{D|M,S}\propto-L(M_{ft},D_{eval})
$$
对于给定的指令数据集$D$，我们计算相应的指标值$I(D)=\{I_i(D),i=0,\cdots,n\}$。存在函数$F$，使得可以使用$F(I(D))$来近似上述模型推理损失$L(M_{ft},D_{eval})$。

![image.png](/static/img/34211dfc38a6ce1d606361d8f79aee00.image.png)

$$
\begin{aligned}\log L(M_{ft},D_{eval})&\propto L_0+F\{I(D)\}\\&\propto L_0+\beta_0+\beta_1I_1(D)+\beta_2I_2(D)+\cdots+\beta_nI_n(D)+\epsilon\end{aligned}
$$

我们的实验主要集中在两个目标。第一个目标是估计建议的 INSTRUCTMINING 规则中的未知参数。第二个是评估和分析 INSTRUCTMINING 在各种微调场景下的性能。

为了实现这一目标，我们首先选择几个具有不同假定质量水平的常用数据集，并将它们与随机采样的百分比融合在一起以创建微调数据集。

![image.png](/static/img/87a9d4db2aa92ef46f0ec4bb84d27cdb.image.png)

作者划分出了129个subset，通过最小二乘法获得了权重系数。

$$
\begin{aligned}&Q_{D|M,S}\propto-L(M_{ft},D_{eval})\\&\log L(M_{ft},D_{eval})\propto0.0274-0.0078Rew+0.4421*Und-0.3212*Nat-0.1520*Coh+\epsilon\end{aligned}
$$

**Quality-guided instruction selection**

我们遵循公式 4 中估计的 INSTRUCTMINING 规则，从两个未见过的数据集中选择高质量的示例：OPENORCA 和 databricks-dolly-15k 1。

![image.png](/static/img/7c33677a086547cfcd475b9f4a4eef32.image.png)

low resource: 使用 OPENORCA 数据集对 LLAMA2-7B 进行完整数据微调可能需要长达 30 小时的 8 GPU 时间。借助 INSTRUCTMINING，我们能够在大约两个小时内选择前 1,000 个数据示例，并在 15 分钟内训练出更好的LLM。

![image.png](/static/img/b59b2150d7b3cded712f52b736fb07fe.image.png)

![image.png](/static/img/d2f4e5c45a31ded0a9fcf7379f954632.image.png)

![image.png](/static/img/61806c0be6e514621aa5117efd5b4826.image.png)

![image.png](/static/img/8a4d43c293e702932dab8312252d07e6.image.png)

**Double descent in generative language models**

![image.png](/static/img/4a2de7f563112d345db1b1113e6aef96.image.png)

Phenomenon 1 Non-monotonicity exists in language model performance. 随着训练数据规模的增加，语言模型的性能首先变得更好，然后变得更好，然后变得更差。当数据量增加到一定程度时，性能再次变得更好。

Phenomenon 2 Balance point exists between randomly selected and quality selected data. 随着数据规模的增长，数据质量对模型性能的影响变得不再那么重要。

**Robustness**
1. Different base models
2. Different model sizes
3. Parameter efficient settings

![image.png](/static/img/cb246ba6742cb589bbe48d905334c054.image.png)

在本文中，我们提出了高质量的示例选择方法。已经进行了实验来估计该规则的参数，并证明我们的评估规则是有效的并且可扩展到其他微调设置。此外，我们还提出了对语言模型微调中双下降现象的观察。基于这一发现，我们进一步应用 BLENDSEARCH 来搜索最佳子集。结果表明 INSTRUCTMINING 规则是有效的且可扩展的。
# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：

   本论文提出了一个名为“INSTRUCTMINING”的新颖方法，旨在自动挑选高质量的指令遵循数据，用于大型语言模型（LLM）的微调。这一方法的独特性在于它综合了自然语言指标和先进的搜索算法，以评估数据质量并识别用于语言模型微调的最优子集。此外，研究中发现了大型语言模型微调中的双重下降现象，并利用这一现象来辅助寻找最佳数据子集。这些创新点为LLM微调领域提供了新的研究视角和方法。

2. 论文中存在的问题及改进建议：

   论文中存在的主要问题是对所提出方法的鲁棒性和通用性的考量可能不足。尽管研究中展示了INSTRUCTMINING在某些基准上的优越性，但仍需深入探讨其在不同类型语言模型、不同规模数据集以及多种语言环境下的适应性和效果。改进建议包括扩大实验范围，验证方法在更广泛条件下的适用性，并深入研究方法的局限性及其应对策略。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **多模态数据微调**：探索INSTRUCTMINING在多模态数据集（如结合文本、图像、音频等）上的应用，评估其在理解和生成多模态内容方面的效果。
   - **跨语言适应性研究**：将INSTRUCTMINING应用于不同语言的数据集，分析其在跨语言背景下的表现和调整需求。
   - **长期学习能力的评估**：研究INSTRUCTMINING在持续学习环境中的表现，尤其是其对新领域知识适应和历史信息保持的能力。

4. 为新的研究路径制定的研究方案：
   - **多模态数据微调研究方案**：
     - 研究方法：整合并预处理多模态数据集，利用INSTRUCTMINING进行微调，并评估其在多模态任务（如图像描述、视频理解等）上的表现。
     - 预期成果：提高LLM在理解和生成多模态内容上的性能，以及在多模态任务上的准确性。
   
   - **跨语言适应性研究方案**：
     - 研究方法：选择多种语言的数据集，应用INSTRUCTMINING，并比较其在不同语言背景下的效果，以及进行必要的调整以适应特定语言特性。
     - 预期成果：增强LLM的跨语言适应能力，为其在多语言环境中的应用提供指导。

   - **长期学习能力的评估方案**：
     - 研究方法：在长期学习的环境中部署INSTRUCTMINING，跟踪其性能变化，特别是在新领域知识适应和历史信息保持方面的表现。
     - 预期成果：理解并改进LLM在持续学习环境中的表现，提出适应新领域和保持历史知识的策略。
:::

# Others

[ArXiv-2023] Instruction Mining: When Data Mining Meets Large Language Model Finetuning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2303.11366 |
> | Code & Data | https://github.com/noahshinn/reflexion |
> | Public      | Neurips |
> | Date        | 2024.04.09 |


# Summary Overview

这是一篇Agent的工作。本文提出了Reflexion，一种不通过更新权重，而是语言反馈来增强语言代理。具体来说，Reflexion agents口头反映任务反馈信号，然后在情景记忆缓冲区中维护自己的反射文本，以便在后续试验中做出更好的决策。

# Main Content

Reflexion这类似于人类如何迭代地学习以几次的方式完成复杂的任务——通过反思之前的失败，以便为下一次尝试形成改进的攻击计划。

设计了3种**reflective feedback**：
1. simple binary enviornment feedback
2. pre-defined heuristics for common failure cases
3. self-evaluation (binary classification using LLMs (desicion-making) or self-written unit tests (programming))

**Adavantages:**
1. 轻量级的，不需要对LLM进行微调
2. 与难以执行准确的信用分配的标量或向量奖励相比，它允许更细致的反馈形式（例如，有针对性的行动变化）
3. 它允许比以前的经历更明确和可解释的情景记忆形式
4. 它为未来剧集中的行动提供了更明确的提示

**Contributions:**
1. 我们提出了 Reflexion，这是一种“口头”强化的新范例，它将策略参数化为代理的记忆编码与 LLM 参数的选择配对。
2. 我们探索了法学硕士中自我反思的这种新兴特性，并根据经验表明，自我反思对于通过少量试验学习复杂任务非常有用。
3. 我们推出 LeetcodeHardGym，这是一个代码生成 RL 健身房环境，由 19 种编程语言的 40 个具有挑战性的 Leetcode 问题（“困难级别”）组成。
4. 我们表明，Reflexion 在多个任务的强大基线上实现了改进，并在各种代码生成基准上实现了最先进的结果。


![image.png](/static/img/fc626bd9ad632ee0459ceceed4eaeec8.image.png)

![image.png](/static/img/8d7b8db93fbd55f852ed203b09f808fa.image.png)

$M_a$: an Actor, generates text and actions

$M_e$: an Evaluator model, scores the outputs produced by $M_a$

$M_{sr}$: a Self-Reflection model, generates verbal reinforcement cues to assist the Actor in self-improvement

**Memory**: 反射过程的核心组成部分是短期记忆和长期记忆的概念。在推理时，Actor 根据短期和长期记忆做出决定，类似于人类记住最近的细粒度细节，同时也回忆从长期记忆中提炼出的重要经验。在强化学习设置中，轨迹历史充当短期记忆，而自我反思模型的输出则存储在长期记忆中。这两个记忆组件协同工作，提供特定的背景，但也受到多次试验中吸取的经验教训的影响，这是反射代理相对于其他法学硕士行动选择工作的关键优势。

**The Reflexion process**

在第一个试验种，Actor通过与环境交互产生轨迹$\tau_0$。然后评估器产生一个分数$r_0$，其计算公式为$r_0=M_e(\tau_0)$。$r_t$只是$t$的标量奖励，随着特定的任务性能提高而提高。在第一次实验后，为了将$r_0$放大为可用于LLM改进的反馈形式，自我反思模型分析$\{\tau_0,r_0\}$集合以生成存储在mem中的摘要$sr_0$。$sr_t$是对实验$t$的口头经验反馈。Actor，Evaluator和Self-Reflection模型通过循环试验一起工作，知道Evaluator认为$\tau_t$是正确的。反射的记忆成分对于其有效性十分关键。每次试验后$t$，$sr_t$都会附加到mem中。在实践中，我们通过存储经验的最大数量$\Omega$（通常设置为1-3）来限制mem，以遵守最大上下文LLM限制。

在这项工作中，我们提出了反射，一种利用言语强化来教导智能体从过去的错误中学习的方法。我们的经验表明，通过利用自我反思，反射智能体的性能明显优于当前广泛使用的决策方法。在未来的工作中，Reflexion 可以用于采用在传统 RL 设置中经过深入研究的更先进的技术，例如自然语言中的价值学习或离策略探索技术。

# Experiments

**Sequential decision making: ALFWorld**

![image.png](/static/img/224855e30e870f86af3bfaa20a638f66.image.png)

**Reasoning: HotpotQA**

![image.png](/static/img/cebdfbc30057718cd86262066d376cd8.image.png)

**Programming: MBPP, HumanEval, LeetcodeHardGym**

![image.png](/static/img/058c0524b26339c5003ae3d251aa3075.image.png)

![image.png](/static/img/ce5149eb7ae0fa458f3ed7c7ef3ab6c9.image.png)

**Ablation study**

![image.png](/static/img/ac01ee487b452eb43c216d26a5c8fbd7.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}

1. 论文的创新之处与独特性：

   论文提出了一种名为“Reflexion”的新框架，该框架创新性地通过语言反馈来强化语言代理，而不是通过更新权重。这种方法将环境反馈转化为文本总结，进而作为额外上下文用于LLM代理在下一轮中的决策。Reflexion的优势在于不需要对LLM进行微调，能够处理更复杂的反馈形式，并且通过反思体验建立了一种更明确且可解释的情节记忆。特别是在多任务环境中，Reflexion在决策制定、推理和编程任务上均展现出优越的性能。

2. 论文中存在的问题及改进建议：

   a. 依赖LLM自我评估能力：Reflexion的效果在很大程度上取决于LLM自我评估的准确性。若LLM在特定任务上缺乏足够的先验知识或者误判情况，可能导致不准确的自我反思和学习方向。

   b. 记忆窗口的限制：Reflexion使用有限大小的记忆窗口来存储反思体验，这可能限制了模型从长期经验中学习的能力。

   c. 改进建议：可以考虑将Reflexion与其他类型的机器学习技术结合，如强化学习，以提高在复杂环境下的决策能力。同时，研究如何优化记忆机制，以支持更有效的长期学习。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：

   a. 跨模态学习：探索Reflexion在处理非文本任务（如图像和声音处理）中的应用，利用语言模型在多模态数据中提取和融合信息。

   b. 多任务和多领域适应性：研究如何通过一种统一的Reflexion框架处理多种不同的任务和领域，比如结合自然语言处理和机器视觉。

   c. 强化学习与Reflexion的结合：研究如何将传统强化学习算法与Reflexion框架相结合，以提高在复杂环境中的学习和适应性。

4. 为新的研究路径制定的研究方案：

   a. 跨模态学习方案：首先确定适用于语言模型的多模态数据集，并设计实验来评估Reflexion在处理非文本任务上的有效性。其次，开发新的算法来融合不同模态的数据，并在此基础上进行反思和学习。

   b. 多任务和多领域适应性方案：开发一种能够处理多种类型任务的统一Reflexion框架，包括自然语言处理、机器视觉等。进行广泛的实验，评估模型在不同任务和领域上的表现和适应性。

   c. 强化学习与Reflexion结合方案：研究如何将Reflexion与现有的强化学习算法相结合，特别是在环境建模和策略优化方面。通过实验验证组合模型在多步决策和复杂任务中的表现。
:::

# Others

[Neurips-2023] Reflexion: Language Agents with Verbal Reinforcement Learning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2210.11610 |
> | Code & Data | / |
> | Public      | EMNLP |
> | Date        | 2024.04.08 |


# Summary Overview

大型语言模型（LLM）在各种任务中都取得了优异的表现。然而，微调LLM需要广泛的监督。另一方面，人类可以通过自我思考来提高自己的推理能力，而无需外部输入。在这项工作中，我们证明了LLM也能够仅使用未标记的数据集进行自我改进。我们使用预先训练的LLM，通过思想链提示和自我一致性，为未标记的问题生成“高置信度”的理由增强答案，并使用这些自我生成的解决方案作为目标输出来微调LLM。我们表明，我们的方法提高了 540B 参数 LLM 的一般推理能力（GSM8K 上 74.4%→82.1%，DROP 上 78.2%→83.0%，OpenBookQA 上 90.0%→94.4%，ANLI 上 63.4%→67.9%） A3）并实现了最先进的性能，没有任何真实标签。我们进行了消融研究，结果表明，推理的微调对于自我完善至关重要。

# Main Content

在本文中，我们研究了LLM如何在没有监督数据的情况下自我提高推理能力。

![image.png](/static/img/9af58ac5e67a81798313fd7620d85eca.image.png)

我们首先使用few-shot CoT作为提示对多个预测进行采样，使用多数投票过滤“高置信度”预测，最后进行微调。由此产生的模型显示了贪婪和多路径评估中推理的改进。我们将这种方法微调的模型称为**Language Model Self-Improved (LMSI)**。

**Motivation**: 这类似于人脑有时的学习方式：给定一个问题，多次思考以获得不同的可能结果，得出应该如何解决问题的结论，然后学习或记住自己的解决方案。

**Contributions**:
- 我们证明，大型语言模型可以通过获取没有真实输出的数据集、利用 CoT 推理（Wei 等人，2022b）和自我一致性（Wang 等人，2022b）来自我改进，从而实现有竞争力的域内多任务性能以及域外泛化。我们在 ARC、OpenBookQA 和 ANLI 数据集上取得了最先进的结果。
- 我们提供关于微调后的训练样本格式和采样温度的详细消融研究，并确定法学硕士最成功的自我改进的关键设计选择。
- 我们研究了另外两种自我改进的方法，其中模型从有限输入问题中生成附加问题，并自行生成少样本 CoT 提示模板。后者在 GSM8K 上达到了 74.2%，这是最先进的零样本性能，而 Kojima 等人的结果是 43.0%。 (2022) 或 70.1%，通过 Wang 等人的幼稚扩展。 （2022b）。

**Method:**

我们得到一个预训练的大型语言模型 (LLM)$M$和一个仅问题训练数据集$\mathcal{D}^{\text{train}}=\{x_i\}_{i=1}^D$以及少量的思想链 (CoT) 示例。我们应用采样温度$T>0$的多路径解码来生成$m$个推理路径和答案${r_{i_1} , r_{i_2},\cdots,r_{i_m}}$ 对于$\mathcal{D}$中的每个问题$x_i$，并使用多数投票（自我一致性）来选择最一致、最高置信度的答案。

![image.png](/static/img/81f9504aa84a849d93cd4845f18f235b.image.png)

对于每个训练问题$x_i$，我们采样$m$个CoT推理路径，表示为${r_{i_1} , r_{i_2},\cdots,r_{i_m}}$。由于$M$是由CoT示例提示的。我们应用"The answer is"来生成预测答案$\{y_{i_1},y_{i_2},\cdots,y_{i_m}\}$。最一致的答案（不一定是正确答案）通过多数投票选出，表示为
$$
\tilde{y}_{i} = \arg\max_{y_{i_{j}}}\sum_{k=1}^{m}\mathbb{I}(y_{i_{j}} = y_{i_{k}})
$$
对于所有训练问题，我们过滤到达$\tilde{y}$的 CoT 推理路径作为最终答案放入自训练数据中，表示为
$$
\mathcal{D}^{\mathbf{self-consistent}}=\{x_{i},\tilde{r_{i}}\},\mathrm{~where~}\tilde{r_{i}}=\{r_{i_{j}}|1\leq j\leq m,y_{i_{j}}=\tilde{y_{i}}\}
$$

![image.png](/static/img/11c1463a645ce6871dc7f5132289a58d.image.png)
我们在图 2 中绘制了 GSM8K 训练集中每个问题的自生成 CoT 路径的准确性和置信度之间的关系。

我们可以观察到，置信的答案更有可能是正确的，这意味着当一个问题有许多一致的 CoT 路径时，那么相应的$\tilde{y}$更有可能是正确的。另一方面，当$\tilde{y}$错误时，它很可能得到较少的 CoT 路径支持，并且给训练样本带来很少的噪声。

**Training with mixed formats:**
为了防止语言模型过度拟合特定的提示或答案风格，我们为每个推理路径创建了四种不同的格式，以混合在自训练数据中，如表 2 所示。

![image.png](/static/img/44f399bc5ad1db6117c3e36f212e972e.image.png)

我们证明了大型语言模型（LLM）能够通过在仅给定输入问题的情况下对其自己生成的标签进行训练来提高其在推理数据集上的性能。使用具有 5400 亿个参数的 LLM 进行的实验表明，我们的方法将六个数据集的准确性分数提高了 1.1% 至 7.7%，在 ARC、OpenBookQA 和 ANLI 上实现了新的最先进结果，而无需进行地面实况训练标签。此外，我们表明，LLM甚至可以根据自己生成的问题和少量的思想链提示进行自我改进。作为我们未来工作的一部分，我们计划将我们的方法生成的大规模数据与现有的监督数据相结合，以进一步提高LLM的表现。

# Experiments

## Models

PaLM-540B

## Datasets

- Arithmetic reasoning:
    - GSM8K
    - DROP
- Commonse reasoning:
    - ARC
    - OpenBookQA
- Natural Language Inference:
    - ANLI-A2
    - ANLI-A3

## Results

![image.png](/static/img/ad3a9b5441c7e80c53f27fdb2e7a670e.image.png)

Multi-task self-training for unseen tasks

![image.png](/static/img/b15c28994c235a442f7adef4678d9f5f.image.png)

Importance of training with Chain-of-Thought formats

![image.png](/static/img/19959edb0de2589564fbe685788b1a07.image.png)

Self-Generating Questions

在 GSM8K 上，我们采样 10 个真实问题作为少样本样本，并使用 3.3 节中的方法使用语言模型生成更多训练问题。然后，我们用这些生成的问题对语言模型进行自训练，并将结果列于表6中。结果表明，使用自生成的问题仍然可以提高语言模型的推理能力，但使用真实的训练集问题会得到更好的结果。

![image.png](/static/img/b4624ab175e18811aaea20738f23d969.image.png)
## Case Study

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   Huang等人的研究表明，大型语言模型（LLM）能够通过仅使用未标注数据集自我改进。具体来说，论文的核心创新在于提出了一种基于自我生成的“高置信度”理由增强答案的训练方法，这种方法使得LLM在不依赖标注数据的情况下，通过自我一致性和链式推理来提升其解决问题的能力。这种自我提升的方法展示了在泛化能力、理解能力和推理能力上的明显提升，特别是在GSM8K、DROP、OpenBookQA 和 ANLI-A3等数据集上的表现。这一发现对LLM的训练方法和自然语言处理领域具有重要意义，表明大型模型在无需显式外部指导的情况下，仍有提升空间。

2. 论文中存在的问题及改进建议：
   尽管该研究展示了LLM在自我提升上的潜力，但仍存在一些限制。例如，论文中采用的自我训练方法可能在特定任务上表现出过度适应的倾向，而在多样性或泛化能力方面表现不足。此外，对于推理路径的质量和可靠性的评估，当前方法可能过于依赖模型本身的置信度判断，忽视了理由的客观合理性。为改进这些问题，建议研究者考虑以下方面：
   - 探索结合监督学习与无监督学习的混合方法，以增强模型在不同领域的泛化能力。
   - 引入更为复杂和精细的评估机制，不仅评估答案的正确性，也考量推理路径的逻辑一致性和可解释性。
   - 将人类反馈纳入自我提升过程，以提高模型推理的准确性和适用性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   
    a. **跨领域自我提升机制研究**：探索如何在不同领域（如法律、医学）上应用并调整自我提升机制，以探究模型在专业领域知识和推理上的表现。
   
    b. **元认知机制的模拟与集成**：研究如何在LLM中模拟人类的元认知过程，例如，通过自我监督和自我调节机制，提高模型的自适应性和问题解决策略。
   
    c. **多模态数据融合与自我提升**：结合文本、图像和声音等多模态数据，研究模型如何综合不同模态信息进行更深层次的学习和推理。

4. 为新的研究路径制定的研究方案：

   a. 跨领域自我提升机制研究：
      - 方法：采用多源数据集，包括法律文献、医学论文等，对LLM进行跨领域训练。
      - 步骤：先对模型在特定领域进行基线训练，然后应用自我提升方法，并对比其性能差异。
      - 期望成果：揭示LLM在不同知识领域中的自我提升能力和限制。
      
   b. 元认知机制的模拟与集成：
      - 方法：开发元认知算法，模拟人类的反思、规划和监控等认知过程。
      - 步骤：在LLM中集成元认知算法，测试在复杂问题解决中的作用。
      - 期望成果：实现更加智能和灵活的语言模型，具有自我调节和自我提升的能力。
      
   c. 多模态数据融合与自我提升：
      - 方法：集成文本、图像和声音等多种数据模态，进行模型训练。
      - 步骤：在LLM中融合多模态输入，实现跨模态理解和推理。
      - 期望成果：展示LLM在多模态数据处理和推理方面的自我提升能力。
:::

# Others

[EMNLP-2023] Large Language Models Can Self-Improve

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2308.12032 |
> | Code & Data | https://github.com/tianyi-lab/Cherry_LLM |
> | Public      | NAACL |
> | Date        | 2024.04.07 |


# Summary Overview

在大型语言模型领域，指令数据质量和数量之间的平衡已成为焦点。认识到这一点，我们为LLM引入了一种自引导方法，可以从大量开源数据集中自主识别和选择樱桃样本，从而有效地最大限度地减少手动管理和调整LLM指令的潜在成本。我们的关键创新是指令遵循难度 (IFD) 指标，它是识别模型预期响应与其自主生成能力之间差异的关键指标。通过IFD的熟练应用，精确定位樱桃样本，模型训练效率显着提升。对 Alpaca 和 WizardLM 等数据集的实证验证支撑了我们的发现；只需传统数据输入的 10%，我们的策略就展示了改进的结果。这种自我引导的挑选和 IFD 指标的综合标志着法学硕士优化的变革性飞跃，有望实现效率和资源意识的进步。

# Main Content

传统上，指令调整主要依赖于积累大量数据集。 LIMA的一项开创性启示强调了指令调整的艺术：决定模型性能的不是数据量，而是数据质量。 LIMA 的研究结果强调，即使是有限数量的手动管理的高质量数据也可以提升模型的指令遵循能力。虽然它强调了数据过剩的有效性，但如何从浩瀚的可用数据集中自动识别高质量数据的问题仍在研究中。

我们建议选择具有中等 IFD 分数的样本进行指令调整，因为这可以在解决挑战性问题和避免冗余之间取得平衡。

**Contributions:**

1. 我们提出了一种自我引导的方法，使模型能够从大量的开源数据集中自主地“选择樱桃数据”。这项创新最大限度地减少了手动管理并优化了现有数据资源的使用，从而降低了成本并简化了培训。
2. 我们引入指令遵循难度（IFD）指标作为工具来识别模型响应与其自主生成能力之间的差距。使用 IFD 指标，我们可以精确定位这些樱桃样本，从而优化模型训练效率。
3. 在 Alpaca 和 WizardLM 等数据集验证的支持下，我们的策略仅用 10% 的典型数据输入就展示了增强的结果，强调了我们方法的效率和变革性影响。
4. 我们提供了不同的特定于模型的视图来衡量新指令的难度，这可能有利于未来的指令数据生成工作。


![image.png](/static/img/02dfbfa43b702a017edb9b41409d1a35.image.png)

在指令调整过程中，样本对$(Q,A)$的损失是通过给定在指令$Q$及其后续单词的情况下连续预测下一个标记来计算的:
$$
L_\theta(A|Q)=-\frac1N\sum_{i=1}^N\log P(w_i^A|Q,w_1^A,w_2^A,\ldots,w_{i-1}^A;\theta)
$$

Conditioned Answer Score:
$$
s_\theta(A|Q)=L_\theta(A|Q)
$$

较高的$s_\theta(A|Q)$并不意味着指令更难遵循，这可能只是字符串$A$本身的固有因素造成的。为了估计遵循给定样本的说明的难度，引入

Direct Answer Score:
$$
s_\theta(A)=-\frac{1}{N}\sum_{i=1}^{N}\log P(w_i^A|w_1^A,\ldots,w_{i-1}^A;\theta)
$$

Instruction-Following Difficulty (IFD):
$$
\mathrm{IFD}_\theta(Q,A)=\frac{s_\theta(A|Q)}{s_\theta(A)}
$$
在这种情况下，LLM固有的对答案串的拟合能力的影响得到了部分缓解。该分数衡量给定指令如何有利于相应响应的一致性的程度。高 IFD 分数表明模型无法将响应与给定的相应指令对齐，这反过来又表明指令的难度。

这项研究阐明了利用LLM的固有能力来选择适合模型的高质量指令调整数据的潜力。通过我们创新的自我引导方法，LLM展示了辨别和挑选最相关的数据样本的能力，我们将这一概念恰当地称为“樱桃数据”。我们方法的核心是指令遵循难度指标，这是一种善于衡量模型自主输出和预期响应之间细微差别的新颖工具。我们的研究结果不仅强调了数据质量比数量更重要，而且还强调了具有成本效益和简化的LLM训练的潜力。

## Related Work

### Data-driven Instruction Tuning
以前的指令调优集合通常是手工制作的或与任务相关的（Khashabi et al., 2020; Ye et al., 2021; Wei et al., 2022; Wang et al., 2022a; Du et al., 2022; Honovich et al. ., 2023), (Wang et al., 2023b) 利用 GPT3 (Brown et al., 2020) 生成 52k 条与每个任务不直接相关的不同指令，这为通过从教师中提取来生成指令数据集铺平了道路楷模。 Meta LLaMA（Touvron et al., 2023a）发布后，世界见证了开源指令调优数据集和 LLM 的激增。
### Coreset Selection
核心集选择在机器学习中至关重要，旨在识别数据点的代表性子集，以加快各种模型的学习。这种方法在 SVM 学习 (Tsang et al., 2005)、k-means (Har-Peled and Kushal, 2005)、逻辑回归 (Munteanu et al., 2018) 中发挥了作用。然而，这些方法主要关注传统机器模型。

在神经网络训练中，最近的进展，例如 Toneva 等人的进展。 （Toneva 等人，2018），探索训练期间数据点效用的动态。他们发现很少被遗忘的点对最终模型精度的影响最小。曼希·保罗等人。 （Paul 等人，2021）证明，在各种权重初始化上平均的预期损失梯度范数分数可以有效地修剪训练数据，而不会显着影响准确性。索伦·明德曼等人。 (Mindermann et al., 2022) 使用贝叶斯概率论来估计训练点对保留损失的个体影响，从而提高训练效率。

这些工作的共同点是关注传统的培训机制。我们的研究重点是优化指令调整中的核心集选择。与上述方法类似，我们的分数估计依赖于目标模型的特征表示。
### Instruction Data Selection
尽管人们已经达成共识，即指令调优“质量就是你所需要的”（Touvron 等人，2023b），但通过人工管理以外的方式寻找高质量数据仍然是一个尚未充分探索的话题。最近的两篇论文《Instruction Mining》（Cao et al., 2023）和 ALPAGASUS（Chen et al., 2023）提出了弥合这一差距的方法，与我们的工作有着相似的动机。指令挖掘评估各种指标并应用统计回归模型进行数据选择。然而，它缺乏与在完整数据上训练的模型的比较性能分析，并且其方法被认为过于复杂，涉及将数据拆分为多个容器并完全训练模型。相比之下，ALPAGASUS 利用外部的、经过充分训练的 LLM (ChatGPT) 对每个样本进行评分。它选择了9k Alpaca数据，超过了官方用全数据训练的Alpaca。虽然有效，但这种方法可能会忽视基础模型的内在能力，过度依赖外部模型。

相比之下，我们的工作旨在开发一种利用目标模型的表示特征来识别用于指令调整的高质量数据的方法，以更简单、更有效的方法推进该领域的发展。
# Experiments

## Metrics
在评估中，评委对每个模型的响应进行评分，评分范围为 1 到 10，反映相关性和准确性等属性。同时与LIMA类似，进行了模型两两之间的比较：Wins, Tie, Loses

## Datasets

Training Datasets:
- Alpaca dataset
- WizardLM dataset

Test Datasets:
- Vicuna
- Koala
- WizardLM
- Self-instruct
- LIMA
## Baselines
- Alpaca
- WizardLM
## Results

![image.png](/static/img/2613aaa84f503c5cfbf5c230a8d7a312.image.png)

将我们在选定数据上训练的模型与完整数据进行比较。 (a) 我们使用 5% Alpaca 数据的模型与官方 Alpaca 模型的比较。 (b) 具有 10% WizardLM 数据的模型与重新实现的 WizardLM 模型之间的比较。 (a)和(b)都使用GPT4作为判断。每个水平条代表特定测试集中的比较。

我们画出随数据增长的总体胜率变化，计算公式为 (Num(Win)−Num(Lose))/Num(All) +1，

![image.png](/static/img/520462ea6e64d57e7e8477d3e55806cf.image.png)
与相应的全数据模型相比，获胜分数随着数据增长而变化。获胜分数的计算方式为(Num(Win)−Num(Lose))/Num(All) +1。获胜次数、失败次数和全部次数是在我们使用的所有五个测试集上计算的。当该值高于 1.0 时，表示该模型的性能优于对比模型。该图中的比较是由 ChatGPT 执行的。

![image.png](/static/img/eff12cd01f42d6d1a9a50b0bcec5a355.image.png)
将使用不同数据选择策略的模型与官方 Alpaca 模型进行比较，总体获胜分数随数据增长而变化。图中所有的比较都是由ChatGPT进行的。

![image.png](/static/img/7d00ff31bb1e1ad4c6755e5ef3406e49.image.png)

我们目标是确定基于 IFD 分数选择的数据是否与高质量训练数据的已知特征相符。从得分最高 5% 和最低 5% 的数据中随机抽取 100 个实例。利用 ChatGPT，我们从六个方面评估每条指令：范围、复杂性、清晰度、深度、简单性和所需知识。

![image.png](/static/img/fb3de6109bb273a7f3433b0df6930b9a.image.png)

- **Scope**: 该说明涵盖了成功完成所需的行动或信息的广度和范围。
- **Complexity**: 该说明集成了需要仔细注意和理解的多个步骤或概念。
- **Clarity**: 该说明清晰明了，确保易于理解，没有歧义。
- **Depth**: 该说明提供了详尽的细节和细微差别，确保全面了解手头的任务。
- **Simplicity**: 该说明虽然详尽，但避免了不必要的术语或晦涩难懂，使其易于理解和遵循。
- **Knowledge Required**: 该指令确认并在必要时提供用户成功执行所需的基础知识或上下文。

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   此论文的主要创新在于提出了一种自我引导的数据选择方法，用以优化大型语言模型（LLM）在指令调优过程中的数据使用。论文引入的关键创新是指令遵循难度（Instruction-Following Difficulty, IFD）度量标准，用以识别模型预期响应与其自动生成能力之间的差异。该方法通过自我引导过程，在大量开源数据集中自动识别出对LLM指令调优尤为有效的数据样本（称为"樱桃数据"）。这种方法的独特性在于其强调数据质量而非数量，不同于依赖外部模型进行数据策划的现有技术。通过对Alpaca和WizardLM数据集的实验验证，使用仅10%的传统数据输入量，该策略展示了更优的结果。

2. 论文中存在的问题及改进建议：
   - 问题：尽管IFD标准在识别高质量训练数据方面表现出色，但这一方法在训练预体验模型时存在不便，可能使得在实际应用场景中直接应用该方法变得困难。
   - 改进建议：考虑简化预体验模型的训练过程，或探索不需要预体验模型的替代方案。可以考虑使用更先进的无监督学习技术来评估和选择训练数据，以减少对预体验模型的依赖。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - 研究路径一：探索IFD度量在不同类型的语言模型中的应用和有效性，例如将IFD应用于小型或特定领域的语言模型。
   - 研究路径二：开发一种基于元学习的框架，使得LLMs能够在接受新任务时自我调整IFD参数，进一步提高模型在新领域或新任务上的适应性和效率。
   - 研究路径三：利用强化学习方法优化IFD度量标准，允许模型在选择训练数据时考虑长期效益而非仅仅基于当前性能指标。

4. 为新的研究路径制定的研究方案：
   - 研究方案一：将IFD度量应用于多种类型的语言模型，如基于Transformer的小型模型和特定领域的模型，评估IFD在这些环境下的效果，并调整IFD计算方式以适应不同模型的特性。
   - 研究方案二：设计一个元学习系统，训练LLMs以自动调整IFD参数，针对新任务和数据进行优化。研究包括：元学习算法的选择和调整、新任务适应性的评估、以及在多任务学习环境中的表现。
   - 研究方案三：采用强化学习技术来优化IFD度量的制定，使模型在选择训练数据时考虑到长期的学习效果。这将包括设计适合的奖励机制、强化学习算法的选择和调整，以及在不同数据集上的实验验证。
:::

# Others