> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2307.06290 |
> | Code & Data | / |
> | Public      | ArXiv |
> | Date        | 2024.04.10 |


# Summary Overview

大语言模型(LLM)在最初针对广泛的功能进行预训练，然后使用指令跟踪数据集(instruction-following datasets)进行微调，以提高其与人类交互的性能。尽管微调方面取得了进步，但选择高质量数据集来优化此过程的标准化方法依然难以捉摸。在本文中，作者提出了INSTRUCTMINING，旨在自动选择优质指令跟踪数据来微调LLM。具体来说，INSTRUCTMINING利用自然语言指标作为数据质量的衡量标准，将其应用于评估未见过的数据集。在实验过程中，我们发现大型语言模型微调中存在双下降现象。基于这一观察，作者进一步利用BLENDSEARCH来帮助找到整个数据集中的最佳子集。

# Main Content

最近的一项研究 LIMA 表明，即使是少量精心挑选的高质量指令数据也可以通过指令调优显着提高模型性能（Zhou et al., 2023）。为了解决这个问题，我们在评估集上使用微调模型产生的损失作为数据质量的代理。

![image.png](/static/img/2643b3614601bc1118f3b8eaf017c1d3.image.png)

选择数据的简单解决方法是选择前$K$个多质量的数据样本，但实践证明选择合适的$K$本身就很困难。

双下降现象(double descent phenomenon)表明，一旦数据大小超过特定的阈值，模型性能的主要决定因素就会从数据质量转变为数据数量。在这种情况下，关注初始的一组高质量数据点（例如，$K=10,000$）比仔细研究整个数据集更能有效地识别最佳点。

**Contributions:**
- 在这项工作中，我们率先应用经典数据挖掘技术，通过自主选择高质量数据来增强LLM。为了实现这一目标，我们引入了 INSTRUCTMINING，这是一种包含数据评估和选择过程的方法。
- 所提出的 INSTRUCTMINING 创新地将定制的语言指标与先进的搜索算法相结合，能够自动评估数据质量并识别微调语言模型的最佳子集。
- 使用 INSTRUCTMINING 进行微调的模型在两个最流行的基准测试中展现出最先进的性能：LLM-AS-A-JUDGE 和 Huggingface OPENLLM。同时，使用较少的训练数据可以有效减少训练时间和成本。

![image.png](/static/img/d0a5f316d9647f7d37283bb0e136ca18.image.png)

指令数据的质量可以被视为其有效引导语言模型学习以特定方式生成响应的能力。

**Hypothesis 1 Instruction Quality Evaluation Hypothesis**: 给出指令数据集$D$，在该数据集上微调LLM，获得$M_{ft}$。$D$的指令质量可以通过$M_{ft}$在评估数据集$D_{eval}$上的推理损失来估计。
$$
Q_{D|M,S}\propto-L(M_{ft},D_{eval})
$$
对于给定的指令数据集$D$，我们计算相应的指标值$I(D)=\{I_i(D),i=0,\cdots,n\}$。存在函数$F$，使得可以使用$F(I(D))$来近似上述模型推理损失$L(M_{ft},D_{eval})$。

![image.png](/static/img/34211dfc38a6ce1d606361d8f79aee00.image.png)

$$
\begin{aligned}\log L(M_{ft},D_{eval})&\propto L_0+F\{I(D)\}\\&\propto L_0+\beta_0+\beta_1I_1(D)+\beta_2I_2(D)+\cdots+\beta_nI_n(D)+\epsilon\end{aligned}
$$

我们的实验主要集中在两个目标。第一个目标是估计建议的 INSTRUCTMINING 规则中的未知参数。第二个是评估和分析 INSTRUCTMINING 在各种微调场景下的性能。

为了实现这一目标，我们首先选择几个具有不同假定质量水平的常用数据集，并将它们与随机采样的百分比融合在一起以创建微调数据集。

![image.png](/static/img/87a9d4db2aa92ef46f0ec4bb84d27cdb.image.png)

作者划分出了129个subset，通过最小二乘法获得了权重系数。

$$
\begin{aligned}&Q_{D|M,S}\propto-L(M_{ft},D_{eval})\\&\log L(M_{ft},D_{eval})\propto0.0274-0.0078Rew+0.4421*Und-0.3212*Nat-0.1520*Coh+\epsilon\end{aligned}
$$

**Quality-guided instruction selection**

我们遵循公式 4 中估计的 INSTRUCTMINING 规则，从两个未见过的数据集中选择高质量的示例：OPENORCA 和 databricks-dolly-15k 1。

![image.png](/static/img/7c33677a086547cfcd475b9f4a4eef32.image.png)

low resource: 使用 OPENORCA 数据集对 LLAMA2-7B 进行完整数据微调可能需要长达 30 小时的 8 GPU 时间。借助 INSTRUCTMINING，我们能够在大约两个小时内选择前 1,000 个数据示例，并在 15 分钟内训练出更好的LLM。

![image.png](/static/img/b59b2150d7b3cded712f52b736fb07fe.image.png)

![image.png](/static/img/d2f4e5c45a31ded0a9fcf7379f954632.image.png)

![image.png](/static/img/61806c0be6e514621aa5117efd5b4826.image.png)

![image.png](/static/img/8a4d43c293e702932dab8312252d07e6.image.png)

**Double descent in generative language models**

![image.png](/static/img/4a2de7f563112d345db1b1113e6aef96.image.png)

Phenomenon 1 Non-monotonicity exists in language model performance. 随着训练数据规模的增加，语言模型的性能首先变得更好，然后变得更好，然后变得更差。当数据量增加到一定程度时，性能再次变得更好。

Phenomenon 2 Balance point exists between randomly selected and quality selected data. 随着数据规模的增长，数据质量对模型性能的影响变得不再那么重要。

**Robustness**
1. Different base models
2. Different model sizes
3. Parameter efficient settings

![image.png](/static/img/cb246ba6742cb589bbe48d905334c054.image.png)

在本文中，我们提出了高质量的示例选择方法。已经进行了实验来估计该规则的参数，并证明我们的评估规则是有效的并且可扩展到其他微调设置。此外，我们还提出了对语言模型微调中双下降现象的观察。基于这一发现，我们进一步应用 BLENDSEARCH 来搜索最佳子集。结果表明 INSTRUCTMINING 规则是有效的且可扩展的。
# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：

   本论文提出了一个名为“INSTRUCTMINING”的新颖方法，旨在自动挑选高质量的指令遵循数据，用于大型语言模型（LLM）的微调。这一方法的独特性在于它综合了自然语言指标和先进的搜索算法，以评估数据质量并识别用于语言模型微调的最优子集。此外，研究中发现了大型语言模型微调中的双重下降现象，并利用这一现象来辅助寻找最佳数据子集。这些创新点为LLM微调领域提供了新的研究视角和方法。

2. 论文中存在的问题及改进建议：

   论文中存在的主要问题是对所提出方法的鲁棒性和通用性的考量可能不足。尽管研究中展示了INSTRUCTMINING在某些基准上的优越性，但仍需深入探讨其在不同类型语言模型、不同规模数据集以及多种语言环境下的适应性和效果。改进建议包括扩大实验范围，验证方法在更广泛条件下的适用性，并深入研究方法的局限性及其应对策略。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **多模态数据微调**：探索INSTRUCTMINING在多模态数据集（如结合文本、图像、音频等）上的应用，评估其在理解和生成多模态内容方面的效果。
   - **跨语言适应性研究**：将INSTRUCTMINING应用于不同语言的数据集，分析其在跨语言背景下的表现和调整需求。
   - **长期学习能力的评估**：研究INSTRUCTMINING在持续学习环境中的表现，尤其是其对新领域知识适应和历史信息保持的能力。

4. 为新的研究路径制定的研究方案：
   - **多模态数据微调研究方案**：
     - 研究方法：整合并预处理多模态数据集，利用INSTRUCTMINING进行微调，并评估其在多模态任务（如图像描述、视频理解等）上的表现。
     - 预期成果：提高LLM在理解和生成多模态内容上的性能，以及在多模态任务上的准确性。
   
   - **跨语言适应性研究方案**：
     - 研究方法：选择多种语言的数据集，应用INSTRUCTMINING，并比较其在不同语言背景下的效果，以及进行必要的调整以适应特定语言特性。
     - 预期成果：增强LLM的跨语言适应能力，为其在多语言环境中的应用提供指导。

   - **长期学习能力的评估方案**：
     - 研究方法：在长期学习的环境中部署INSTRUCTMINING，跟踪其性能变化，特别是在新领域知识适应和历史信息保持方面的表现。
     - 预期成果：理解并改进LLM在持续学习环境中的表现，提出适应新领域和保持历史知识的策略。
:::

# Others

[ArXiv-2023] Instruction Mining: When Data Mining Meets Large Language Model Finetuning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2303.11366 |
> | Code & Data | https://github.com/noahshinn/reflexion |
> | Public      | Neurips |
> | Date        | 2024.04.09 |


# Summary Overview

这是一篇Agent的工作。本文提出了Reflexion，一种不通过更新权重，而是语言反馈来增强语言代理。具体来说，Reflexion agents口头反映任务反馈信号，然后在情景记忆缓冲区中维护自己的反射文本，以便在后续试验中做出更好的决策。

# Main Content

Reflexion这类似于人类如何迭代地学习以几次的方式完成复杂的任务——通过反思之前的失败，以便为下一次尝试形成改进的攻击计划。

设计了3种**reflective feedback**：
1. simple binary enviornment feedback
2. pre-defined heuristics for common failure cases
3. self-evaluation (binary classification using LLMs (desicion-making) or self-written unit tests (programming))

**Adavantages:**
1. 轻量级的，不需要对LLM进行微调
2. 与难以执行准确的信用分配的标量或向量奖励相比，它允许更细致的反馈形式（例如，有针对性的行动变化）
3. 它允许比以前的经历更明确和可解释的情景记忆形式
4. 它为未来剧集中的行动提供了更明确的提示

**Contributions:**
1. 我们提出了 Reflexion，这是一种“口头”强化的新范例，它将策略参数化为代理的记忆编码与 LLM 参数的选择配对。
2. 我们探索了法学硕士中自我反思的这种新兴特性，并根据经验表明，自我反思对于通过少量试验学习复杂任务非常有用。
3. 我们推出 LeetcodeHardGym，这是一个代码生成 RL 健身房环境，由 19 种编程语言的 40 个具有挑战性的 Leetcode 问题（“困难级别”）组成。
4. 我们表明，Reflexion 在多个任务的强大基线上实现了改进，并在各种代码生成基准上实现了最先进的结果。


![image.png](/static/img/fc626bd9ad632ee0459ceceed4eaeec8.image.png)

![image.png](/static/img/8d7b8db93fbd55f852ed203b09f808fa.image.png)

$M_a$: an Actor, generates text and actions

$M_e$: an Evaluator model, scores the outputs produced by $M_a$

$M_{sr}$: a Self-Reflection model, generates verbal reinforcement cues to assist the Actor in self-improvement

**Memory**: 反射过程的核心组成部分是短期记忆和长期记忆的概念。在推理时，Actor 根据短期和长期记忆做出决定，类似于人类记住最近的细粒度细节，同时也回忆从长期记忆中提炼出的重要经验。在强化学习设置中，轨迹历史充当短期记忆，而自我反思模型的输出则存储在长期记忆中。这两个记忆组件协同工作，提供特定的背景，但也受到多次试验中吸取的经验教训的影响，这是反射代理相对于其他法学硕士行动选择工作的关键优势。

**The Reflexion process**

在第一个试验种，Actor通过与环境交互产生轨迹$\tau_0$。然后评估器产生一个分数$r_0$，其计算公式为$r_0=M_e(\tau_0)$。$r_t$只是$t$的标量奖励，随着特定的任务性能提高而提高。在第一次实验后，为了将$r_0$放大为可用于LLM改进的反馈形式，自我反思模型分析$\{\tau_0,r_0\}$集合以生成存储在mem中的摘要$sr_0$。$sr_t$是对实验$t$的口头经验反馈。Actor，Evaluator和Self-Reflection模型通过循环试验一起工作，知道Evaluator认为$\tau_t$是正确的。反射的记忆成分对于其有效性十分关键。每次试验后$t$，$sr_t$都会附加到mem中。在实践中，我们通过存储经验的最大数量$\Omega$（通常设置为1-3）来限制mem，以遵守最大上下文LLM限制。

在这项工作中，我们提出了反射，一种利用言语强化来教导智能体从过去的错误中学习的方法。我们的经验表明，通过利用自我反思，反射智能体的性能明显优于当前广泛使用的决策方法。在未来的工作中，Reflexion 可以用于采用在传统 RL 设置中经过深入研究的更先进的技术，例如自然语言中的价值学习或离策略探索技术。

# Experiments

**Sequential decision making: ALFWorld**

![image.png](/static/img/224855e30e870f86af3bfaa20a638f66.image.png)

**Reasoning: HotpotQA**

![image.png](/static/img/cebdfbc30057718cd86262066d376cd8.image.png)

**Programming: MBPP, HumanEval, LeetcodeHardGym**

![image.png](/static/img/058c0524b26339c5003ae3d251aa3075.image.png)

![image.png](/static/img/ce5149eb7ae0fa458f3ed7c7ef3ab6c9.image.png)

**Ablation study**

![image.png](/static/img/ac01ee487b452eb43c216d26a5c8fbd7.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}

1. 论文的创新之处与独特性：

   论文提出了一种名为“Reflexion”的新框架，该框架创新性地通过语言反馈来强化语言代理，而不是通过更新权重。这种方法将环境反馈转化为文本总结，进而作为额外上下文用于LLM代理在下一轮中的决策。Reflexion的优势在于不需要对LLM进行微调，能够处理更复杂的反馈形式，并且通过反思体验建立了一种更明确且可解释的情节记忆。特别是在多任务环境中，Reflexion在决策制定、推理和编程任务上均展现出优越的性能。

2. 论文中存在的问题及改进建议：

   a. 依赖LLM自我评估能力：Reflexion的效果在很大程度上取决于LLM自我评估的准确性。若LLM在特定任务上缺乏足够的先验知识或者误判情况，可能导致不准确的自我反思和学习方向。

   b. 记忆窗口的限制：Reflexion使用有限大小的记忆窗口来存储反思体验，这可能限制了模型从长期经验中学习的能力。

   c. 改进建议：可以考虑将Reflexion与其他类型的机器学习技术结合，如强化学习，以提高在复杂环境下的决策能力。同时，研究如何优化记忆机制，以支持更有效的长期学习。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：

   a. 跨模态学习：探索Reflexion在处理非文本任务（如图像和声音处理）中的应用，利用语言模型在多模态数据中提取和融合信息。

   b. 多任务和多领域适应性：研究如何通过一种统一的Reflexion框架处理多种不同的任务和领域，比如结合自然语言处理和机器视觉。

   c. 强化学习与Reflexion的结合：研究如何将传统强化学习算法与Reflexion框架相结合，以提高在复杂环境中的学习和适应性。

4. 为新的研究路径制定的研究方案：

   a. 跨模态学习方案：首先确定适用于语言模型的多模态数据集，并设计实验来评估Reflexion在处理非文本任务上的有效性。其次，开发新的算法来融合不同模态的数据，并在此基础上进行反思和学习。

   b. 多任务和多领域适应性方案：开发一种能够处理多种类型任务的统一Reflexion框架，包括自然语言处理、机器视觉等。进行广泛的实验，评估模型在不同任务和领域上的表现和适应性。

   c. 强化学习与Reflexion结合方案：研究如何将Reflexion与现有的强化学习算法相结合，特别是在环境建模和策略优化方面。通过实验验证组合模型在多步决策和复杂任务中的表现。
:::

# Others

[Neurips-2023] Reflexion: Language Agents with Verbal Reinforcement Learning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2210.11610 |
> | Code & Data | / |
> | Public      | EMNLP |
> | Date        | 2024.04.08 |


# Summary Overview

大型语言模型（LLM）在各种任务中都取得了优异的表现。然而，微调LLM需要广泛的监督。另一方面，人类可以通过自我思考来提高自己的推理能力，而无需外部输入。在这项工作中，我们证明了LLM也能够仅使用未标记的数据集进行自我改进。我们使用预先训练的LLM，通过思想链提示和自我一致性，为未标记的问题生成“高置信度”的理由增强答案，并使用这些自我生成的解决方案作为目标输出来微调LLM。我们表明，我们的方法提高了 540B 参数 LLM 的一般推理能力（GSM8K 上 74.4%→82.1%，DROP 上 78.2%→83.0%，OpenBookQA 上 90.0%→94.4%，ANLI 上 63.4%→67.9%） A3）并实现了最先进的性能，没有任何真实标签。我们进行了消融研究，结果表明，推理的微调对于自我完善至关重要。

# Main Content

在本文中，我们研究了LLM如何在没有监督数据的情况下自我提高推理能力。

![image.png](/static/img/9af58ac5e67a81798313fd7620d85eca.image.png)

我们首先使用few-shot CoT作为提示对多个预测进行采样，使用多数投票过滤“高置信度”预测，最后进行微调。由此产生的模型显示了贪婪和多路径评估中推理的改进。我们将这种方法微调的模型称为**Language Model Self-Improved (LMSI)**。

**Motivation**: 这类似于人脑有时的学习方式：给定一个问题，多次思考以获得不同的可能结果，得出应该如何解决问题的结论，然后学习或记住自己的解决方案。

**Contributions**:
- 我们证明，大型语言模型可以通过获取没有真实输出的数据集、利用 CoT 推理（Wei 等人，2022b）和自我一致性（Wang 等人，2022b）来自我改进，从而实现有竞争力的域内多任务性能以及域外泛化。我们在 ARC、OpenBookQA 和 ANLI 数据集上取得了最先进的结果。
- 我们提供关于微调后的训练样本格式和采样温度的详细消融研究，并确定法学硕士最成功的自我改进的关键设计选择。
- 我们研究了另外两种自我改进的方法，其中模型从有限输入问题中生成附加问题，并自行生成少样本 CoT 提示模板。后者在 GSM8K 上达到了 74.2%，这是最先进的零样本性能，而 Kojima 等人的结果是 43.0%。 (2022) 或 70.1%，通过 Wang 等人的幼稚扩展。 （2022b）。

**Method:**

我们得到一个预训练的大型语言模型 (LLM)$M$和一个仅问题训练数据集$\mathcal{D}^{\text{train}}=\{x_i\}_{i=1}^D$以及少量的思想链 (CoT) 示例。我们应用采样温度$T>0$的多路径解码来生成$m$个推理路径和答案${r_{i_1} , r_{i_2},\cdots,r_{i_m}}$ 对于$\mathcal{D}$中的每个问题$x_i$，并使用多数投票（自我一致性）来选择最一致、最高置信度的答案。

![image.png](/static/img/81f9504aa84a849d93cd4845f18f235b.image.png)

对于每个训练问题$x_i$，我们采样$m$个CoT推理路径，表示为${r_{i_1} , r_{i_2},\cdots,r_{i_m}}$。由于$M$是由CoT示例提示的。我们应用"The answer is"来生成预测答案$\{y_{i_1},y_{i_2},\cdots,y_{i_m}\}$。最一致的答案（不一定是正确答案）通过多数投票选出，表示为
$$
\tilde{y}_{i} = \arg\max_{y_{i_{j}}}\sum_{k=1}^{m}\mathbb{I}(y_{i_{j}} = y_{i_{k}})
$$
对于所有训练问题，我们过滤到达$\tilde{y}$的 CoT 推理路径作为最终答案放入自训练数据中，表示为
$$
\mathcal{D}^{\mathbf{self-consistent}}=\{x_{i},\tilde{r_{i}}\},\mathrm{~where~}\tilde{r_{i}}=\{r_{i_{j}}|1\leq j\leq m,y_{i_{j}}=\tilde{y_{i}}\}
$$

![image.png](/static/img/11c1463a645ce6871dc7f5132289a58d.image.png)
我们在图 2 中绘制了 GSM8K 训练集中每个问题的自生成 CoT 路径的准确性和置信度之间的关系。

我们可以观察到，置信的答案更有可能是正确的，这意味着当一个问题有许多一致的 CoT 路径时，那么相应的$\tilde{y}$更有可能是正确的。另一方面，当$\tilde{y}$错误时，它很可能得到较少的 CoT 路径支持，并且给训练样本带来很少的噪声。

**Training with mixed formats:**
为了防止语言模型过度拟合特定的提示或答案风格，我们为每个推理路径创建了四种不同的格式，以混合在自训练数据中，如表 2 所示。

![image.png](/static/img/44f399bc5ad1db6117c3e36f212e972e.image.png)

我们证明了大型语言模型（LLM）能够通过在仅给定输入问题的情况下对其自己生成的标签进行训练来提高其在推理数据集上的性能。使用具有 5400 亿个参数的 LLM 进行的实验表明，我们的方法将六个数据集的准确性分数提高了 1.1% 至 7.7%，在 ARC、OpenBookQA 和 ANLI 上实现了新的最先进结果，而无需进行地面实况训练标签。此外，我们表明，LLM甚至可以根据自己生成的问题和少量的思想链提示进行自我改进。作为我们未来工作的一部分，我们计划将我们的方法生成的大规模数据与现有的监督数据相结合，以进一步提高LLM的表现。

# Experiments

## Models

PaLM-540B

## Datasets

- Arithmetic reasoning:
    - GSM8K
    - DROP
- Commonse reasoning:
    - ARC
    - OpenBookQA
- Natural Language Inference:
    - ANLI-A2
    - ANLI-A3

## Results

![image.png](/static/img/ad3a9b5441c7e80c53f27fdb2e7a670e.image.png)

Multi-task self-training for unseen tasks

![image.png](/static/img/b15c28994c235a442f7adef4678d9f5f.image.png)

Importance of training with Chain-of-Thought formats

![image.png](/static/img/19959edb0de2589564fbe685788b1a07.image.png)

Self-Generating Questions

在 GSM8K 上，我们采样 10 个真实问题作为少样本样本，并使用 3.3 节中的方法使用语言模型生成更多训练问题。然后，我们用这些生成的问题对语言模型进行自训练，并将结果列于表6中。结果表明，使用自生成的问题仍然可以提高语言模型的推理能力，但使用真实的训练集问题会得到更好的结果。

![image.png](/static/img/b4624ab175e18811aaea20738f23d969.image.png)
## Case Study

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   Huang等人的研究表明，大型语言模型（LLM）能够通过仅使用未标注数据集自我改进。具体来说，论文的核心创新在于提出了一种基于自我生成的“高置信度”理由增强答案的训练方法，这种方法使得LLM在不依赖标注数据的情况下，通过自我一致性和链式推理来提升其解决问题的能力。这种自我提升的方法展示了在泛化能力、理解能力和推理能力上的明显提升，特别是在GSM8K、DROP、OpenBookQA 和 ANLI-A3等数据集上的表现。这一发现对LLM的训练方法和自然语言处理领域具有重要意义，表明大型模型在无需显式外部指导的情况下，仍有提升空间。

2. 论文中存在的问题及改进建议：
   尽管该研究展示了LLM在自我提升上的潜力，但仍存在一些限制。例如，论文中采用的自我训练方法可能在特定任务上表现出过度适应的倾向，而在多样性或泛化能力方面表现不足。此外，对于推理路径的质量和可靠性的评估，当前方法可能过于依赖模型本身的置信度判断，忽视了理由的客观合理性。为改进这些问题，建议研究者考虑以下方面：
   - 探索结合监督学习与无监督学习的混合方法，以增强模型在不同领域的泛化能力。
   - 引入更为复杂和精细的评估机制，不仅评估答案的正确性，也考量推理路径的逻辑一致性和可解释性。
   - 将人类反馈纳入自我提升过程，以提高模型推理的准确性和适用性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   
    a. **跨领域自我提升机制研究**：探索如何在不同领域（如法律、医学）上应用并调整自我提升机制，以探究模型在专业领域知识和推理上的表现。
   
    b. **元认知机制的模拟与集成**：研究如何在LLM中模拟人类的元认知过程，例如，通过自我监督和自我调节机制，提高模型的自适应性和问题解决策略。
   
    c. **多模态数据融合与自我提升**：结合文本、图像和声音等多模态数据，研究模型如何综合不同模态信息进行更深层次的学习和推理。

4. 为新的研究路径制定的研究方案：

   a. 跨领域自我提升机制研究：
      - 方法：采用多源数据集，包括法律文献、医学论文等，对LLM进行跨领域训练。
      - 步骤：先对模型在特定领域进行基线训练，然后应用自我提升方法，并对比其性能差异。
      - 期望成果：揭示LLM在不同知识领域中的自我提升能力和限制。
      
   b. 元认知机制的模拟与集成：
      - 方法：开发元认知算法，模拟人类的反思、规划和监控等认知过程。
      - 步骤：在LLM中集成元认知算法，测试在复杂问题解决中的作用。
      - 期望成果：实现更加智能和灵活的语言模型，具有自我调节和自我提升的能力。
      
   c. 多模态数据融合与自我提升：
      - 方法：集成文本、图像和声音等多种数据模态，进行模型训练。
      - 步骤：在LLM中融合多模态输入，实现跨模态理解和推理。
      - 期望成果：展示LLM在多模态数据处理和推理方面的自我提升能力。
:::

# Others

[EMNLP-2023] Large Language Models Can Self-Improve

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2308.12032 |
> | Code & Data | https://github.com/tianyi-lab/Cherry_LLM |
> | Public      | NAACL |
> | Date        | 2024.04.07 |


# Summary Overview

在大型语言模型领域，指令数据质量和数量之间的平衡已成为焦点。认识到这一点，我们为LLM引入了一种自引导方法，可以从大量开源数据集中自主识别和选择樱桃样本，从而有效地最大限度地减少手动管理和调整LLM指令的潜在成本。我们的关键创新是指令遵循难度 (IFD) 指标，它是识别模型预期响应与其自主生成能力之间差异的关键指标。通过IFD的熟练应用，精确定位樱桃样本，模型训练效率显着提升。对 Alpaca 和 WizardLM 等数据集的实证验证支撑了我们的发现；只需传统数据输入的 10%，我们的策略就展示了改进的结果。这种自我引导的挑选和 IFD 指标的综合标志着法学硕士优化的变革性飞跃，有望实现效率和资源意识的进步。

# Main Content

传统上，指令调整主要依赖于积累大量数据集。 LIMA的一项开创性启示强调了指令调整的艺术：决定模型性能的不是数据量，而是数据质量。 LIMA 的研究结果强调，即使是有限数量的手动管理的高质量数据也可以提升模型的指令遵循能力。虽然它强调了数据过剩的有效性，但如何从浩瀚的可用数据集中自动识别高质量数据的问题仍在研究中。

我们建议选择具有中等 IFD 分数的样本进行指令调整，因为这可以在解决挑战性问题和避免冗余之间取得平衡。

**Contributions:**

1. 我们提出了一种自我引导的方法，使模型能够从大量的开源数据集中自主地“选择樱桃数据”。这项创新最大限度地减少了手动管理并优化了现有数据资源的使用，从而降低了成本并简化了培训。
2. 我们引入指令遵循难度（IFD）指标作为工具来识别模型响应与其自主生成能力之间的差距。使用 IFD 指标，我们可以精确定位这些樱桃样本，从而优化模型训练效率。
3. 在 Alpaca 和 WizardLM 等数据集验证的支持下，我们的策略仅用 10% 的典型数据输入就展示了增强的结果，强调了我们方法的效率和变革性影响。
4. 我们提供了不同的特定于模型的视图来衡量新指令的难度，这可能有利于未来的指令数据生成工作。


![image.png](/static/img/02dfbfa43b702a017edb9b41409d1a35.image.png)

在指令调整过程中，样本对$(Q,A)$的损失是通过给定在指令$Q$及其后续单词的情况下连续预测下一个标记来计算的:
$$
L_\theta(A|Q)=-\frac1N\sum_{i=1}^N\log P(w_i^A|Q,w_1^A,w_2^A,\ldots,w_{i-1}^A;\theta)
$$

Conditioned Answer Score:
$$
s_\theta(A|Q)=L_\theta(A|Q)
$$

较高的$s_\theta(A|Q)$并不意味着指令更难遵循，这可能只是字符串$A$本身的固有因素造成的。为了估计遵循给定样本的说明的难度，引入

Direct Answer Score:
$$
s_\theta(A)=-\frac{1}{N}\sum_{i=1}^{N}\log P(w_i^A|w_1^A,\ldots,w_{i-1}^A;\theta)
$$

Instruction-Following Difficulty (IFD):
$$
\mathrm{IFD}_\theta(Q,A)=\frac{s_\theta(A|Q)}{s_\theta(A)}
$$
在这种情况下，LLM固有的对答案串的拟合能力的影响得到了部分缓解。该分数衡量给定指令如何有利于相应响应的一致性的程度。高 IFD 分数表明模型无法将响应与给定的相应指令对齐，这反过来又表明指令的难度。

这项研究阐明了利用LLM的固有能力来选择适合模型的高质量指令调整数据的潜力。通过我们创新的自我引导方法，LLM展示了辨别和挑选最相关的数据样本的能力，我们将这一概念恰当地称为“樱桃数据”。我们方法的核心是指令遵循难度指标，这是一种善于衡量模型自主输出和预期响应之间细微差别的新颖工具。我们的研究结果不仅强调了数据质量比数量更重要，而且还强调了具有成本效益和简化的LLM训练的潜力。

## Related Work

### Data-driven Instruction Tuning
以前的指令调优集合通常是手工制作的或与任务相关的（Khashabi et al., 2020; Ye et al., 2021; Wei et al., 2022; Wang et al., 2022a; Du et al., 2022; Honovich et al. ., 2023), (Wang et al., 2023b) 利用 GPT3 (Brown et al., 2020) 生成 52k 条与每个任务不直接相关的不同指令，这为通过从教师中提取来生成指令数据集铺平了道路楷模。 Meta LLaMA（Touvron et al., 2023a）发布后，世界见证了开源指令调优数据集和 LLM 的激增。
### Coreset Selection
核心集选择在机器学习中至关重要，旨在识别数据点的代表性子集，以加快各种模型的学习。这种方法在 SVM 学习 (Tsang et al., 2005)、k-means (Har-Peled and Kushal, 2005)、逻辑回归 (Munteanu et al., 2018) 中发挥了作用。然而，这些方法主要关注传统机器模型。

在神经网络训练中，最近的进展，例如 Toneva 等人的进展。 （Toneva 等人，2018），探索训练期间数据点效用的动态。他们发现很少被遗忘的点对最终模型精度的影响最小。曼希·保罗等人。 （Paul 等人，2021）证明，在各种权重初始化上平均的预期损失梯度范数分数可以有效地修剪训练数据，而不会显着影响准确性。索伦·明德曼等人。 (Mindermann et al., 2022) 使用贝叶斯概率论来估计训练点对保留损失的个体影响，从而提高训练效率。

这些工作的共同点是关注传统的培训机制。我们的研究重点是优化指令调整中的核心集选择。与上述方法类似，我们的分数估计依赖于目标模型的特征表示。
### Instruction Data Selection
尽管人们已经达成共识，即指令调优“质量就是你所需要的”（Touvron 等人，2023b），但通过人工管理以外的方式寻找高质量数据仍然是一个尚未充分探索的话题。最近的两篇论文《Instruction Mining》（Cao et al., 2023）和 ALPAGASUS（Chen et al., 2023）提出了弥合这一差距的方法，与我们的工作有着相似的动机。指令挖掘评估各种指标并应用统计回归模型进行数据选择。然而，它缺乏与在完整数据上训练的模型的比较性能分析，并且其方法被认为过于复杂，涉及将数据拆分为多个容器并完全训练模型。相比之下，ALPAGASUS 利用外部的、经过充分训练的 LLM (ChatGPT) 对每个样本进行评分。它选择了9k Alpaca数据，超过了官方用全数据训练的Alpaca。虽然有效，但这种方法可能会忽视基础模型的内在能力，过度依赖外部模型。

相比之下，我们的工作旨在开发一种利用目标模型的表示特征来识别用于指令调整的高质量数据的方法，以更简单、更有效的方法推进该领域的发展。
# Experiments

## Metrics
在评估中，评委对每个模型的响应进行评分，评分范围为 1 到 10，反映相关性和准确性等属性。同时与LIMA类似，进行了模型两两之间的比较：Wins, Tie, Loses

## Datasets

Training Datasets:
- Alpaca dataset
- WizardLM dataset

Test Datasets:
- Vicuna
- Koala
- WizardLM
- Self-instruct
- LIMA
## Baselines
- Alpaca
- WizardLM
## Results

![image.png](/static/img/2613aaa84f503c5cfbf5c230a8d7a312.image.png)

将我们在选定数据上训练的模型与完整数据进行比较。 (a) 我们使用 5% Alpaca 数据的模型与官方 Alpaca 模型的比较。 (b) 具有 10% WizardLM 数据的模型与重新实现的 WizardLM 模型之间的比较。 (a)和(b)都使用GPT4作为判断。每个水平条代表特定测试集中的比较。

我们画出随数据增长的总体胜率变化，计算公式为 (Num(Win)−Num(Lose))/Num(All) +1，

![image.png](/static/img/520462ea6e64d57e7e8477d3e55806cf.image.png)
与相应的全数据模型相比，获胜分数随着数据增长而变化。获胜分数的计算方式为(Num(Win)−Num(Lose))/Num(All) +1。获胜次数、失败次数和全部次数是在我们使用的所有五个测试集上计算的。当该值高于 1.0 时，表示该模型的性能优于对比模型。该图中的比较是由 ChatGPT 执行的。

![image.png](/static/img/eff12cd01f42d6d1a9a50b0bcec5a355.image.png)
将使用不同数据选择策略的模型与官方 Alpaca 模型进行比较，总体获胜分数随数据增长而变化。图中所有的比较都是由ChatGPT进行的。

![image.png](/static/img/7d00ff31bb1e1ad4c6755e5ef3406e49.image.png)

我们目标是确定基于 IFD 分数选择的数据是否与高质量训练数据的已知特征相符。从得分最高 5% 和最低 5% 的数据中随机抽取 100 个实例。利用 ChatGPT，我们从六个方面评估每条指令：范围、复杂性、清晰度、深度、简单性和所需知识。

![image.png](/static/img/fb3de6109bb273a7f3433b0df6930b9a.image.png)

- **Scope**: 该说明涵盖了成功完成所需的行动或信息的广度和范围。
- **Complexity**: 该说明集成了需要仔细注意和理解的多个步骤或概念。
- **Clarity**: 该说明清晰明了，确保易于理解，没有歧义。
- **Depth**: 该说明提供了详尽的细节和细微差别，确保全面了解手头的任务。
- **Simplicity**: 该说明虽然详尽，但避免了不必要的术语或晦涩难懂，使其易于理解和遵循。
- **Knowledge Required**: 该指令确认并在必要时提供用户成功执行所需的基础知识或上下文。

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   此论文的主要创新在于提出了一种自我引导的数据选择方法，用以优化大型语言模型（LLM）在指令调优过程中的数据使用。论文引入的关键创新是指令遵循难度（Instruction-Following Difficulty, IFD）度量标准，用以识别模型预期响应与其自动生成能力之间的差异。该方法通过自我引导过程，在大量开源数据集中自动识别出对LLM指令调优尤为有效的数据样本（称为"樱桃数据"）。这种方法的独特性在于其强调数据质量而非数量，不同于依赖外部模型进行数据策划的现有技术。通过对Alpaca和WizardLM数据集的实验验证，使用仅10%的传统数据输入量，该策略展示了更优的结果。

2. 论文中存在的问题及改进建议：
   - 问题：尽管IFD标准在识别高质量训练数据方面表现出色，但这一方法在训练预体验模型时存在不便，可能使得在实际应用场景中直接应用该方法变得困难。
   - 改进建议：考虑简化预体验模型的训练过程，或探索不需要预体验模型的替代方案。可以考虑使用更先进的无监督学习技术来评估和选择训练数据，以减少对预体验模型的依赖。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - 研究路径一：探索IFD度量在不同类型的语言模型中的应用和有效性，例如将IFD应用于小型或特定领域的语言模型。
   - 研究路径二：开发一种基于元学习的框架，使得LLMs能够在接受新任务时自我调整IFD参数，进一步提高模型在新领域或新任务上的适应性和效率。
   - 研究路径三：利用强化学习方法优化IFD度量标准，允许模型在选择训练数据时考虑长期效益而非仅仅基于当前性能指标。

4. 为新的研究路径制定的研究方案：
   - 研究方案一：将IFD度量应用于多种类型的语言模型，如基于Transformer的小型模型和特定领域的模型，评估IFD在这些环境下的效果，并调整IFD计算方式以适应不同模型的特性。
   - 研究方案二：设计一个元学习系统，训练LLMs以自动调整IFD参数，针对新任务和数据进行优化。研究包括：元学习算法的选择和调整、新任务适应性的评估、以及在多任务学习环境中的表现。
   - 研究方案三：采用强化学习技术来优化IFD度量的制定，使模型在选择训练数据时考虑到长期的学习效果。这将包括设计适合的奖励机制、强化学习算法的选择和调整，以及在不同数据集上的实验验证。
:::

# Others

[NAACL-2023] From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2307.06962 |
> | Code & Data | https://github.com/gmftbyGMFTBY/Copyisallyouneed |
> | Public      | ICLR |
> | Date        | 2024.04.07 |


# Summary Overview

主要文本生成模型通过固定词汇表中顺序选择单词来组成输出。在本文中，我们将文本生成表述为从现有文本集合中逐步复制文本段（例如单词或短语）。我们计算有意义的文本片段的上下文表示，并使用高效的向量搜索工具包对它们进行索引。然后，文本生成的任务被分解为一系列复制和粘贴操作：在每个时间步骤，我们从文本集合中寻找合适的文本范围，而不是从独立的词汇表中进行选择。

# Main Content

**CoG** (COPY-GENERATOR): 在每个解码步骤中，都会从离线索引中检索合适的短语并将其附加到当前前缀。换句话说，传统神经语言模型的下一个标记预测被一系列复制粘贴操作代替。

Advantages:
1. 选择特定上下文中的短语，而不是固定词汇表中的独特标记。它可能允许更准确的候选代表和选择。
2. 无需训练即可适应新的数据源，因为文本集合可以即插即用的方法更新。它可以使领域适应和数据扩展/过滤等应用场景受益。
3. 允许多个标记的序列（即多词短语）在一个步骤内生成。它可以减少解码步骤的总数，从而提高推理效率。

Contributions:
1. 提出了 COG，一种将文本生成任务重新表述为一系列现有文本集合的复制和粘贴操作的方法。
2. 证明COG 在现有语言建模基准上可以优于标准神经语言模型基线。
3. 证明 COG 允许无需训练即可适应更大的文本集合和特定领域的文本集合。

![image.png](/static/img/d7945ed88b637cc818bae9f28477b9a9.image.png)

无条件文本生成(Uncoditional text generation)或语言建模(Language modeling)旨在生成给定前缀的连贯文本延续。

计算下一个token为$w$的概率为
$$
p_\theta(x_i=w|x_{<i})=\frac{\exp(v_w\cdot h_i)}{\sum_{w\in V}\exp(v_w\cdot h_i)}
$$

CoG工作流程：

假设一组原文档$\{D^1,\cdots,D^n\}$可用。对于每个文档$D^i$，可以提取长度为$e-s+1$的短语$k=D^i_{s:e}$，其中$s$和$e$标记短语在文档中的开始和结束位置。我们将源文本集合中的所有短语表示为$\mathcal{P}$。对于给定的前缀$x_{<i}$，目标是选择可以在前缀之后形成连贯文本延续的最佳短语。为此，使用短语编码器(Phrase Encoder)计算每个短语$p_k\in\mathbb{R}^d=\text{PhraseEncoder}(s,e,D^i)$的上下文表示。这样就可以构造一个短语表$\{(k,p_k)|k\in\mathcal{P}\}$。与传统语言模型类似，在测试时，CoG也采用前缀编码器将前缀$x_{<i}$映射为向量表示$q_i$。然后，短语$k$对前缀$x_{<i}$的适合度通过其向量表示$p_k$和$q_i$的点积来衡量：
$$
p(k|x_{<i})\propto\exp(p_k\cdot q_i)
$$

**Prefix Encoder:**

$$
\mathcal{H}_{i+1}=\text{PrefixEncoder}(x_i,\mathcal{H})
$$

**Phrase Encoder:**

给定一组源文档$\{D^1,\cdots,D^n\}$，短语编码器计算文档中所有短语的向量表示。对于文档$D=D_1,\cdots,D_m$，首先使用bidirectional Transformer来获得上下文化的令牌表示$\mathcal{D}\in\mathbb{R}^{m\times d_t}$，其中$d_t$是令牌表示的维度。然后，应用两个$\text{MLP}$模型$\text{MLP}_{\text{start}}$和$\text{MLP}_{\text{end}}$。将$\mathcal{D}$分别转换为开始和结束标记表示$\mathcal{D}_{\text{start}},\mathcal{D}_{\text{end}}\in\mathbb{R}^{m\times\frac{d}{2}}$

$$
\mathcal{D}_{\text{start}}=\text{MLP}_{\text{start}}(\mathcal{D}),\mathcal{D}_{\text{end}}=\text{MLP}_{\text{end}}(\mathcal{D})
$$

对于文档从$s$开始到$e$结束的每个短语$D_{s:e}$，我们使用相应的开始和结束向量的串联作为短语表示。

$$
\text{PhraseEncoder}(s,e,D)=[\mathcal{D}_{\text{start}}[s];\mathcal{D}_{\text{end}}[s]]\in\mathbb{R}^d
$$

上述方法的优点是：
1. 我们只需要对文档进行一次编码即可获得所有短语表示
2. 只需要存储所有的标记表而不是所有的短语表示

通过InfoNCE损失来定义下一个短语预测的训练损失：

$$
\mathcal{L}_p=-\frac1n\sum_{k=1}^n\log\frac{\exp(q_k\cdot p_k)}{\sum_{p\in\mathcal{P}_k}\exp(q_k\cdot p_p)+\sum_{w\in V}\exp(q_k\cdot v_w)}
$$

此外，为了保留令牌级生成的能力，我们还使用标准令牌级自回归损失来训练 COG。

$$
\mathcal{L}_t=-\frac1m\sum_{i=1}^m\log\frac{\exp(q_i,v_{D_i})}{\sum_{w\in V}\exp(q_i,v_w)}
$$

$$
\mathcal{L}=\mathcal{L}_p+\mathcal{L}_t
$$

在本文中，我们将文本生成重新表述为从大量文本集合中逐步复制短语。在这种形式化之后，我们提出了一种新颖的神经文本生成模型，名为 COG，它通过从其他文档中检索语义连贯且流畅的短语来生成文本。实验结果证明了 COG 相对于标准语言建模 (WikiText-103)、领域适应 (Law-MT) 和扩大短语索引 (En-Wiki) 三个实验设置的强大基线的优势。

## Related Work

**Dense Retrieval:**

密集检索技术（Karpukhin et al., 2020）已广泛应用于许多下游 NLP 任务，例如开放域问答（Karpukhin et al., 2020; Lee et al., 2021）、开放域对话系统（Lan 等人，2021）和机器翻译（Cai 等人，2021）。与传统的稀疏检索系统（例如 BM25 和 TF-IDF（Robertson & Zaragoza，2009））不同，密集检索学习查询和文档的共享向量空间，其中相关的查询和文档对具有更小的距离（即更高的相似性） ）比不相关的对。与我们的研究最密切相关的工作是 DensePhrase (Lee et al., 2021)。 DensePhrase 将问答任务重新表述为短语检索问题，其中直接检索短语并作为事实问题的答案返回。不同的是，我们的工作旨在通过多轮短语检索生成连贯的文本延续。由于在文本生成任务中两个相邻短语之间的连接必须连贯且流畅，因此难度要大得多。

# Experiments

## Metrics

- **MAUVE**：一种高效、可解释、实用的自动评估，与人类判断高度一致，广泛用于评估现代文本生成模型。在本文中，MAUVE利用GPT2large模型来生成分数，缩放因子设置为2.0。
- **Rep-n**：将序列级重复测量为生成文本中重复 n 元语法的部分。对于生成文本 x，Rep-n 可以表示为：$100\times(1.0-\frac{|\mathrm{unique~n-gram(x)}|}{|\mathrm{total~n-gram(x)}|}).$。较高的Rep-n表示生成的严重的退化问题。
- **Diversity**：衡量世代的多样性，其公式为$\Pi_{n=2}^4(1-\frac{\text{Rep}-n}{100}))$。多样性得分较高的生成通常信息更丰富。

## Datasets

- WikiText-103

## Baselines

- Transformer
- kNN-LM
- RETRO

## Results

![image.png](/static/img/94a34b1900e95e3a2416eea3c2917cee.image.png)

![image.png](/static/img/676c01612074f93b0c8b8108f52c186a.image.png)

![image.png](/static/img/ea9ea3465c3a08b29153ea038b9cfaf9.image.png)

## Case Study

![image.png](/static/img/2ed8e444913f0a88a6ea694c83a63d18.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   本文所研究的论文《Copy Is All You Need》中，提出了一种名为COG的新型文本生成模型，将文本生成任务重新定义为从现有文本集合中逐步复制文本片段（如单词或短语）。此模型的创新点在于它通过使用有效的向量搜索工具来计算有意义文本片段的上下文化表示，并索引它们，而不是从固定词汇表中选择单词。这种方法不仅提高了生成质量（根据自动和人类评估），还使得推理效率与令牌级自回归模型相当。此外，该模型允许通过简单切换到特定领域的文本集合来进行有效的领域适应，无需额外训练，这为文本生成提供了新的视角和技术路径。

2. 论文中存在的问题及改进建议：
   一方面，尽管COG模型在实验中显示出较强的性能，但其对文本片段的选择和组合仍可能导致语义上的不连贯或不精确。例如，从其他文档复制的短语可能与当前上下文不完全吻合，导致生成文本的一些部分显得生硬或不连贯。另一方面，COG在处理长篇文本时可能面临挑战，因为它需要在大量的文本片段中进行有效搜索。对此，建议进一步优化短语编码器的设计，使其能更好地理解和预测上下文中的短语，以及探索更高效的搜索算法来处理大规模文本片段集合。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **跨语言文本生成**：探索COG模型在跨语言文本生成中的应用，例如在给定一种语言的上下文中生成另一种语言的文本，这可能涉及对不同语言文本片段的有效索引和选择。
   - **个性化文本生成**：使用COG模型进行个性化文本生成，如根据用户的历史数据和偏好来生成定制内容，这要求模型能够理解和适应不同用户的独特风格和需求。
   - **多模态文本生成**：结合COG模型与视觉或声音数据，探索生成与图像或音频相关联的文本，如图像描述或自动字幕生成，这要求模型能处理不同模态的数据并将它们有效融合。

4. 为新的研究路径制定的研究方案：
   - **跨语言文本生成**：
     - 研究方法：开发一种跨语言的短语索引系统，同时提升模型在不同语言上下文中选择恰当短语的能力。
     - 研究步骤：首先构建一个包含多种语言的大规模文本数据库；其次，训练模型学习跨语言的短语表示；然后进行跨语言文本生成的实验，并评估其效果。
     - 期望结果：生成的文本不仅在语法上正确，而且能够跨语言地传达准确的信息和情感。

   - **个性化文本生成**：
     - 研究方法：整合用户数据，以培养模型对个体偏好和风格的敏感性。
     - 研究步骤：收集用户数据，如历史文本和反馈；基于这些数据训练模型；测试模型在不同用户数据上的表现。
     - 期望结果：模型能够根据用户的历史交互生成个性化、相关性强的文本内容。

   - **多模态文本生成**：
     - 研究方法：融合视觉或声音数据处理技术，使模型能够理解并结合来自不同模态的信息。
     - 研究步骤：首先，开发一种多模态数据处理框架；其次，训练模型处理和理解视觉或音频数据；最后，进行多模态文本生成实验。
     - 期望结果：模型能生成准确描述图像或音频内容的文本，并保持文本的流畅性和连贯性。
:::

# Others