> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2502.09601 |
> | Code & Data | / |
> | Public      | arXiv |
> | Date        | 2025.03.18 |


# Summary Overview

通过观察到，在简单任务下可以压缩思维链长度但是在复杂任务上不是这样的，作者探索了仅使用一个模型来弹性控制推理路径长度的可行性，从而根据任务难度动态地减少了推理模型的推理开销 (CoT-Valve)。我们构建具有从长到短的连锁的数据集，以解决相同的问题，并探索了 CoT-Valve 的两个增强策略：（1）一种精确的长度可压缩的COT调整方法，以及（2）渐进的链长度压缩方法。

# Main Content

> Thus, a long reasoning path is still essential, while maintaining the ability to compress reasoning paths for simpler questions is equally important.

![image.png](/static/img/07feec55a23a153eab87d745c30a51d8.image.png)

We choose to incorporate this update direction by LoRA, enabling it to function as an additional branch that facilitates easy modulation of intensity while imposing minimal extra parameters on the model.

**Contributions**
1. **Cot-Valve**: Enables elastic control of length for CoT within the parameter space, allowing a single model to generate CoT from short to long.
2. **MixChain Dataset**: A dataset with reasoning paths of varying lengths for each question.
3. **Improved Tuning & Progressive Compression**: Refines the direction tuning process based on MixChain and introduces progressive compression for inference efficiency.
4. **Performance & Controllability**: Achieves controllable reasoning generation and state-of-the-art results for compressed CoT.


![image.png](/static/img/e5a863b123c0f6ee6984ec89dbdd228a.image.png)

**Metics:**

- Accuracy per Computation Unit(ACU), to better capture this balance and evaluate model efficiency.

$$
\text{ACU}=\frac{\text{Accuracy}}{\#\text{Params}\times\#\text{Tokens}}
$$

![image.png](/static/img/9f02da244b66f147487d5df1a1ec5d44.image.png)

![image.png](/static/img/5057777713a33521e0d59255ccff1b6d.image.png)

**Observations**

- Longer reasoning chains are not always the best on simple datasets.
- Some reasoning chains are difficult for the model to learn, especially for small LLMs.

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **动态推理路径长度控制**：论文提出了“CoT-Valve”，通过在参数空间中识别并操控一个方向向量，实现了对推理路径长度的动态控制。这种方法允许一个模型同时生成长链和短链推理路径，避免了传统方法中需要单独训练多种模型的资源浪费。
   - **基于LoRA的参数高效调整**：采用LoRA（低秩适配）技术对参数进行调整，以最小化模型额外参数开销的同时实现推理路径长度的可控性。这种创新方式使得在推理过程中对链长的调节变得更加灵活。
   - **MixChain数据集的构建**：论文构建了一个MixChain数据集，其中每个问题都包含从长到短的多种推理路径。这种数据集设计为模型提供了更丰富的训练样本，支持更精确的链长控制。
   - **性能与推理效率的平衡**：通过实验表明，适度压缩推理链可以在保持高准确率的同时显著减少推理的计算成本，特别是在简单任务中短链推理甚至优于长链推理。

2. 论文中存在的问题及改进建议：
   - **对复杂任务的适用性不足**：论文主要在简单数学任务（如GSM8K）上验证了方法的有效性，但在更复杂的推理任务（如AIME24）中，短链推理的表现不如长链推理。改进建议：进一步优化短链推理的生成策略，例如通过引入更细粒度的推理步骤选择机制，确保关键步骤不会被压缩掉。
   - **对方向向量的解释性不足**：虽然论文提出了通过参数空间方向向量控制链长的概念，但对该向量的具体性质及其与推理路径长度的关系缺乏深入的理论分析。改进建议：结合可视化或数学分析，探索方向向量的几何意义及其对推理过程的影响。
   - **对训练数据质量的依赖**：MixChain数据集的构建依赖于模型生成的推理路径质量，而这些路径可能包含噪声或不一致性。改进建议：引入自动化验证机制或人类专家标注，提升训练数据的质量。
   - **缺乏多模态任务验证**：论文仅在文本推理任务中进行了实验，未探索方法在多模态任务（如视觉推理）中的应用潜力。改进建议：在多模态任务上验证CoT-Valve的性能，如图像理解或视觉问答。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1**：探索更细粒度的推理路径压缩机制，例如通过动态评估每一步推理对最终答案的贡献，智能跳过冗余步骤。
   - **创新点2**：将CoT-Valve方法扩展到多模态推理任务，研究推理路径长度控制在视觉-语言任务中的适用性。
   - **创新点3**：结合强化学习，优化方向向量的选择过程，使得模型能够根据任务难度自适应调整推理路径长度。
   - **创新点4**：开发基于MixChain的半监督学习框架，利用未标注数据进一步提升模型的推理能力。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：细粒度推理路径压缩机制**
     - **研究方法**：基于信息论或贝叶斯网络，计算每一步推理对最终答案的贡献度；设计动态跳步机制，仅保留高贡献度的推理步骤。
     - **研究步骤**：
       1. 构建一个包含详细推理路径标注的高质量数据集。
       2. 开发基于信息增益的推理步骤贡献度评估算法。
       3. 通过实验验证动态跳步机制对推理效率和准确率的影响。
     - **期望成果**：提出一种细粒度推理路径压缩算法，在复杂任务中显著减少推理链长度，同时保持高准确率。

   - **研究路径2：多模态推理任务中的CoT-Valve扩展**
     - **研究方法**：将CoT-Valve方法应用于视觉-语言任务（如图像描述生成或视觉问答），探索推理路径长度控制在多模态任务中的效果。
     - **研究步骤**：
       1. 收集并构建多模态推理任务数据集（如包含图像和对应问题的标注数据）。
       2. 对视觉-语言模型进行LoRA微调，加入CoT-Valve机制。
       3. 比较不同链长的推理路径对多模态任务性能的影响。
     - **期望成果**：验证CoT-Valve在多模态任务中的有效性，并提出适用于多模态任务的推理路径长度控制方法。

   - **研究路径3：结合强化学习优化方向向量**
     - **研究方法**：引入强化学习框架，通过奖励函数优化方向向量的选择，使得模型能够根据任务难度自适应调整推理路径长度。
     - **研究步骤**：
       1. 设计奖励函数，综合考虑推理路径长度、准确率和计算成本。
       2. 利用强化学习算法（如PPO或DDPG）优化方向向量。
       3. 在多种任务上测试模型的自适应能力。
     - **期望成果**：开发一种基于强化学习的自适应推理路径长度控制方法，显著提升模型在不同任务上的推理效率。

   - **研究路径4：基于MixChain的半监督学习框架**
     - **研究方法**：利用MixChain数据集中的长链和短链样本，通过伪标注和一致性正则化，提升未标注数据的利用率。
     - **研究步骤**：
       1. 构建包含未标注问题的大规模数据集。
       2. 设计伪标注生成策略，利用现有模型生成长链和短链推理路径。
       3. 引入一致性正则化，确保模型对同一问题的长链和短链推理路径生成一致答案。
     - **期望成果**：提出一种基于MixChain的半监督学习框架，显著提升模型在低资源场景下的推理能力。
:::

# Others

[arXiv-2025] CoT-Valve: Length-Compressible Chain-of-Thought Tuning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2501.12570 |
> | Code & Data | https://github.com/StarDewXXX/O1-Pruner |
> | Public      | arXiv |
> | Date        | 2025.03.18 |


# Summary Overview

本文针对于当前 Reasoning LLM 出现的 Long-CoT 问题进行改进，提出来 Length Harmonizing Fine-Tuning (**O1-Pruner**) 的方法，使用 RL 的方法微调模型，使其输出的 CoT 长度降低。同时文章中还注意到一个现象，并非是越长的 CoT 能获得越好的效果。

# Main Content

我们观察到，漫长的推理LLM中的推理过程经常表现出重要的裁员，从而导致计算资源的使用效率低下。我们的方法引入了 Length-Harmonizing Reward，该奖励明确地奖励了更短的解决方案，同时惩罚准确性退化。

**A Simple Experiment:**

我们从 MATH 测试集中随机选择了64个问题（对于QWQ-32B，我们首先过滤了 hard
 samples）。对于每个问题，我们使用 MARCO-O1 和 QWQ-32B 生成了512个解决方案。对于每个问题，我们将所有候选解决方案分为4个间隔，并随后计算每个间隔的准确率。

![image.png](/static/img/69d5ffc743d876bf40cfb4a73352f340.image.png)

![image.png](/static/img/d433e7b52b4170d8c44592f3a7565b86.image.png)

因此，我们可以得出结论，在推理过程中，长期思考模型表现出长度不和谐的现象，这在推理阶段导致了冗余的计算开销。这种推理的冗余性可以得到缓解，因为即使在较短的长度下仍保持高精度。

**Length-Harmonizing Fine-Tuning (O1-Pruner)**

To address this, we propose an optimizatoin objective that ensures no degradation in accuracy while tackling the issue from two perspectives. First, at the overall level, we aim to shorten the reasoning paths. Second, we encourage the model to output shorter answers for simpler problems, while for more complex problems, we guide the model to learn the correct reasoning paths, which, according to the inference scaling law, typically involve longer reasoning sequences.

$$
\max \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_{\theta}(y|x), y' \sim \pi_{ref}(y|x)} \frac{L(y')}{L(y)} - 1 \right]
$$

We subtract a constant 1 from the optimization objective to ensure that the initial expected value of the optimization is zero.

Constraint condition:

$$
\mathbb{E}_{x \sim D, y \sim \pi_{\theta}(y|x)} A(x, y) \geq \mathbb{E}_{x \sim D, y' \sim \pi_{ref}(y'|x)} A(x, y')
$$

Therefore, we can establish our optimization objective as:

$$
\max \mathbb{E}_{x \sim D} \left[\mathbb{E}_{y \sim \pi_\theta (y|x), y' \sim \pi_\text{ref}(y|x)}\left(\frac{L(y')}{L(y)} - 1 \right)\right]
\\
\text{s.t. } \mathbb{E}_{x \sim D, y \sim \pi_\theta(y|x)} A(x, y) \geq \mathbb{E}_{x \sim D, y' \sim \pi_\text{ref}(y'|x)} A(x, y').
$$

To solve this constrained optimization problem, we incorporate constraint into the objective function as a penalty term. Specifically, the constraint on accuracy is added to the objective with a penalty weight $\lambda\geq0:$

$$
\max \mathbb{E}_{x \sim D, y \sim \pi_\theta (y|x), y' \sim \pi_\text{ref}(y|x)} 
    \left( 
    \frac{L(y')}{L(y)} - 1 
    + \lambda \big(A(x, y) - A(x, y') \big)
    \right)
$$

By reorganizing the terms related with reference model $\pi_{ref}$, we have:

$$
\max \mathbb{E}_{x \sim D, y \sim \pi_\theta (y|x)} 
    \left(
    \frac{\mathbb{E}_{y' \sim \pi_\text{ref}(y'|x)} L(y')}{L(y)} - 1 
    + \lambda \big(A(x, y) - \mathbb{E}_{y' \sim \pi_\text{ref}(y'|x)} A(x, y')\big)
    \right).
$$

In practice, we approximate the expection terms related with $\pi_{ref}$ by sampling. For each $x$, we sample for $K$ times from $\pi_{ref}(\cdot|x)$ and calculate the mean value:

$$
    \bar{L}_\text{ref}(x) = \frac{1}{K} \sum_{i=1}^K L(y'_i), \quad y'_i \sim \pi_\text{ref}(\cdot \mid x) \\
    \bar{A}_\text{ref}(x) = \frac{1}{K} \sum_{i=1}^K A(x, y'_i), \quad y'_i \sim \pi_\text{ref}(\cdot \mid x)
$$

This approach is widely employed in Policy Gradient with Baseline. Furthermore,  a recently proposed method GRPO adopts a similar technique to reduce training overhead. Based on this technique, our objective can be approximated as:

$$
\max \mathbb{E}_{x \sim D, y \sim \pi_\theta (y|x)} 
    \left(
    \frac{\bar{L}_\text{ref}(x)}{L(y)} - 1 
    + \lambda \big(A(x, y) - \bar{A}_\text{ref}(x)\big)
    \right)
$$

Defining the Length-Harmonizing Reward $R_{LH}(x, y) = \frac{\bar{L}_\text{ref}(x)}{L(y)} - 1 + \lambda \big(A(x, y) - \bar{A}_\text{ref}(x)\big)$, the loss function of off-policy-version Length-Harmonizing Fine-Tuning is

$$
    L^{LH}(\theta; x, y) = -\mathbb{E}_{x \sim D, y \sim \pi_\text{ref}(y|x)} 
    \left[ 
    \min\big(r(\theta) R_{LH}(x, y), 
    \operatorname{clip}(r(\theta), 1 - \epsilon, 1 + \epsilon) R_{LH}(x, y)\big) 
    \right],
$$

![image.png](/static/img/18330e7c4f5024508f6c94b43c6bb85e.image.png)

**Evaluation Metric**

- Accuracy
- Length
- AES: Accuracy-Efficiency Score (AES). 
    
    $\Delta\text{Length}=\frac{\text{Length}_{\text{baseline}}-\text{Length}_{\text{baseline}}}{\text{Length}_{\text{baseline}}}$
    
    $\Delta\text{Acc}=\frac{\text{Acc}_{\text{model}}-\text{Acc}_\text{baseline}}{\text{Acc}_{\text{baseline}}}$

$
\text{AES} = 
\begin{cases} 
    \alpha \cdot \Delta \text{Length} + \beta \cdot |\Delta \text{Acc}|, & \text{if } \Delta \text{Acc} \geq 0, \\ 
    \alpha \cdot \Delta \text{Length} - \gamma \cdot |\Delta \text{Acc}|, & \text{if } \Delta \text{Acc} < 0.
\end{cases}
$

**Main Result**

![image.png](/static/img/a6d1dbe6f9200cc2c5b3bfde5de2fed1.image.png)

**Inference Time-Cost Analysis**

![image.png](/static/img/47639cce5d8a21da825aae292fae2f36.image.png)

**Abalatoin Study**

We select several different values of $\lambda(\lambda=0,1,2,5)$ and evaluate the model accordingly.

![image.png](/static/img/9c5a3e4bc6c5459b46549db99734cd44.image.png)

Ablation on Difficulty Levels.

![image.png](/static/img/f8b20c428e2de51c60a3a6aef7006b30.image.png)

# 🤖

:::info{title=" "}
## 对"O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning"论文的分析

根据提供的内容，这篇论文似乎聚焦于大型语言模型(LLM)的推理能力优化，特别是通过"O1-Pruner"方法来实现类似O1模型的推理剪枝效果。以下是我的分析：

### 1. 论文的创新之处与独特性：

1. **推理剪枝技术创新**：论文提出了"O1-Pruner"方法，这似乎是一种专注于优化LLM推理过程的技术，旨在减少推理链长度而不牺牲效果[0][2]。这与现有的"overthinking"问题解决方案形成差异化[2]。

2. **长度协调微调方法**：从标题可以看出，论文提出了"Length-Harmonizing Fine-Tuning"方法，这可能是一种新颖的微调策略，专门用于平衡和优化推理链的长度[0][1]。

3. **效率与效果的平衡**：论文似乎在保持推理质量的同时，成功减少了计算资源消耗，这对于大模型部署具有实际价值[1][2]。

4. **与现有技术的整合**：论文可能结合了参数高效微调(PEFT)技术，如LoRA等方法，使得优化过程更加高效[0][3]。

### 2. 论文中存在的问题及改进建议：

1. **评估指标的全面性**：从上下文来看，论文可能主要关注了推理长度和准确性，但对于推理质量的多维度评估可能不足[1][2]。建议增加更多评估维度，如推理的逻辑性、创新性和多样性等。

2. **适用范围限制**：论文的方法可能主要针对特定类型的推理任务（如数学推理），对于更广泛的开放域推理任务的适用性可能需要进一步验证[0][3]。建议在更多样化的任务上进行测试。

3. **与其他优化方法的比较**：论文可能缺乏与其他推理优化方法（如Compressed Chain of Thought、Graph of Thoughts等）的全面比较[2][3]。建议增加与这些方法的对比实验。

4. **长期效果评估**：论文可能缺乏对模型经过推理剪枝后长期表现的评估，特别是在处理复杂任务时的稳定性[1][3]。建议增加长期性能评估实验。

### 3. 基于论文的内容和研究结果，提出的创新点或研究路径：

1. **自适应推理深度控制**：开发一种能够根据任务复杂度自动调整推理深度的机制，而不是采用固定的剪枝策略。这可以在简单任务上进一步提高效率，在复杂任务上保持足够的推理深度[0][2]。

2. **多模态推理剪枝**：将O1-Pruner的概念扩展到多模态领域，研究如何在处理文本-图像等多模态任务时优化推理过程，减少不必要的计算步骤[1][3]。

3. **推理剪枝与知识蒸馏结合**：探索将推理剪枝技术与知识蒸馏相结合的方法，通过蒸馏优化后的推理路径来训练更小但高效的模型[0][2]。

4. **元学习框架下的推理优化**：开发一个元学习框架，使模型能够"学会如何推理"，自动发现最优的推理策略和长度，而不需要人工设计剪枝规则[1][3]。

### 4. 为新的研究路径制定的研究方案：

#### 研究方案1：自适应推理深度控制

**研究方法**：
- 设计一个推理控制器模块，它能够分析输入问题的复杂度并预测所需的推理步骤
- 利用强化学习训练控制器，以准确率和计算效率的加权和作为奖励信号
- 实现一个动态停止机制，当推理达到足够置信度时自动终止

**研究步骤**：
1. 构建包含不同复杂度问题的数据集，并标注理想的推理深度
2. 设计并实现推理控制器架构，包括复杂度评估和步骤预测组件
3. 使用PPO或其他强化学习算法训练控制器[0][3]
4. 在多个基准测试上评估自适应系统的性能，与固定剪枝策略比较
5. 分析不同类型问题的推理深度分布，优化控制器策略

**期望成果**：
- 一个能根据问题复杂度自动调整推理深度的系统
- 在简单问题上比固定剪枝策略更高效，在复杂问题上保持更高准确率
- 关于问题复杂度与最优推理深度关系的新见解

#### 研究方案2：多模态推理剪枝

**研究方法**：
- 扩展O1-Pruner框架以处理多模态输入（文本、图像、音频等）
- 设计模态特定的注意力机制，识别每个模态中的关键信息
- 开发跨模态推理路径优化算法，减少模态间不必要的交互

**研究步骤**：
1. 收集或创建多模态推理数据集，包括不同复杂度的视觉问答和多模态推理任务
2. 扩展现有的推理剪枝框架，增加模态特定的处理模块
3. 设计跨模态注意力机制，用于识别不同模态中的关键信息
4. 实现并训练多模态推理剪枝模型
5. 在标准多模态基准测试上评估性能，特别关注计算效率和准确率的平衡

**期望成果**：
- 一个适用于多模态任务的推理剪枝框架
- 显著减少多模态推理任务的计算成本，同时保持竞争性能
- 关于不同模态在推理过程中重要性的新见解

#### 研究方案3：推理剪枝与知识蒸馏结合

**研究方法**：
- 使用O1-Pruner优化大型教师模型的推理路径
- 设计一种蒸馏方法，将优化后的推理路径传递给较小的学生模型
- 开发路径感知的损失函数，引导学生模型学习高效推理策略

**研究步骤**：
1. 选择合适的教师模型和一系列较小的学生模型
2. 使用O1-Pruner优化教师模型的推理过程
3. 收集教师模型的优化推理路径，包括中间步骤和注意力分布
4. 设计蒸馏框架，包括路径模仿损失和结果匹配损失
5. 训练学生模型，评估其在多个推理任务上的性能和效率
6. 分析学生模型学到的推理策略，与教师模型比较异同

**期望成果**：
- 一种新的知识蒸馏方法，专注于传递高效推理能力
- 比传统蒸馏方法更小、更快但同样有效的学生模型
- 关于推理知识如何在不同规模模型间传递的新见解

这些研究方案建立在O1-Pruner的基础上，探索了不同方向的扩展和应用，有望进一步推动大型语言模型推理效率和能力的提升[0][1][2][3]。
:::

# Others

[arXiv-2025] O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2502.17419 |
> | Code & Data | https://github.com/zzli2022/Awesome-System2-Reasoning-LLM |
> | Public      | arXiv |
> | Date        | 2025.03.01 |


# Main Content

实现人类水平的智能需要完善从快速，直观 System1 到较慢，更故意的 System2 推理的过渡。虽然 System1 在迅速的启发式决策中表现出色，但System2 依赖于逻辑推理来进行更准确的判断和减少偏见。

![image.png](/static/img/2d7918d45d1509cbc8b32ce3bd028b3f.image.png)

推理LLM具有逐步处理信息的机制，使他们能够做出更准确，更合理的决策。

![image.png](/static/img/8c96e856a9e2365d6cc6bc27d2336916.image.png)

**Monte Carlo Search**

**Four steps:**
1. Selection, which chooses the child node with the highest priority using the UCB1 formula:
    $$
    \mathrm{UCB1}=\frac{w_i}{n_i}+c\sqrt{\frac{\ln N}{n_i}}
    $$
    where $w_i$ is the total reward of node $i$, $n_i$ is its visit count, $N$ is the parent node's visit count, and $c$ balances exploration and exploitation.
2. Expansion adds new nodes
3. Simulation performs random rollouts to evaluate them
4. Backpropagation updates node statistics.

MCTS has been widely used in tasks such as optimizing strategies in board games like GO and in robotic path planning, where it helps robots navigate dynamic enviornments effectively.

![image.png](/static/img/b43619b3bb65353df57cbda94c775048.image.png)

## Analysis of the Features of Reasoning LLMs

### Ouput Behaviour Perspective

Slow-thinking models engage in a latent generative process, particularly noticeable during the prediction of subsequent tokens.

![image.png](/static/img/ca9d96acc3820613911858596cccd5b5.image.png)

**Verification and Check Structure:**

Analysis of OpenAI's o1 and o3 models indicates that their reasoning frameworks incorporate both macro-level actions for long-term strategic planning and micro-level actions, including "Wait", "Hold on", "Alternatively", and "Let's pause". These micro actions facilitate meticulous verification and iterative checking processes, ensuring precision in task execution.

**Longer Inference Length & Time:**

最近的研究表明，推理LLM通常会产生超过2000个令牌的产出，以解决编码和数学中的复杂问题。但是，这种扩展的输出长度有时会导致过度思考，在这种情况下，该模型在问题上花费了过多的时间，而无需改善解决方案。

**Overly Cautious & Simple Problem Trap:**

当前，推理LLM在竞争级数学，复杂编码，医学问题回答和多种方面的翻译等领域中表现出了强劲的性能。这些方案要求模型对问题进行细粒度分析，并根据给定条件执行仔细的逻辑推理。有趣的是，即使对于“ 2+3 =？”之类的直接问题，推理LLM也会表现出过度自信或不确定性。最近的研究指出，类似 o1 的模型倾向于生成多个解决方案回合，以方便数学问题，通常会探索不必要的路径。这种行为与缺乏更简单的问题的不同探索性动作形成鲜明对比，这表明该模型推理过程的效率低下。

### Training Dynamic Perspective

Studies suggest that constructing Slow-thinking CoT datasets with a focus on hard samples leads to better generalization in fields like medicine and mathematics.

In comparison to simple CoT, Slow-thinking Supervised Fine-Tuning (SFT) data exhibits remarkable sample efficiency, often delivering comparable results with just 1/100th of the sample size.

Training LLMs for slow-thinking, as characterized by the LongCoT approach, results in relatively uniform gradient norms across different layeers. In contrast, fast-thinking, exemplified by the simplified CoT method, generates larger gradient magnitudes in the earlier layers, along with significant variability in gradient norms across layers.

## Core Method

### Structure Search

As shown in Table 1, we classify the actions in prior work into four categories:
1. **Reasoning Steps as Nodes:** Actions represent intermediate reasoning steps or decisions, such as selecting rules, applying transformations, or generating subquestions.
2. **Token-level Decisions:** Actions involve generating tokens or sequences (e.g., the next word, phrase, or code snippet).
3. T**ask-specific Structures:** Actions are domain-specific, such as moving blocks in blocksworld, constructing geometry in geometry problem-solving, or modifying workflows in task planning.
4. **Self-correction and Exploration:** Actions forcus on revisiting, refining, or backtracking to improve previous reasoning steps. 

Additionallye, as illustrated in Table 1, we classify the reward design into five categories: 
1. Outcome-based Rewards: Rewards focus on the correctness or validity of the final outcome or solution, including the validation of reasoning paths or task success.
2. Stepwise Evaluations: Rewards are assigned at intermediate steps based on the quality of each step or its contribution toward the final outcome.
3. Self-evaluation Mechanisms: Rewards rely on the model’s own confidence or self-assessment (e.g., likelihood, next-word probability, or confidence scores).
4. Domain-specific Criteria: Rewards are tailored to specific tasks, such as symmetry and complexity in geometry or alignment with human preferences in text generation.
5. Iterative Preference Learning: Rewards are derived from comparing multiple solutions or reasoning paths, guiding learning dynamically.

![image.png](/static/img/cd4eab75fc93597e0d068514db1424e9.image.png)

### Reward Modeling

- Outcome supervision emphasizes the correctness of the final answer at a higher level of granularity, and the resulting model is referred to as the **Outcome Reward Model (ORM)**.
- Process supervision provides step-by-step labels for the solution trajectory, evaluating the quality of each reasoning step. The resulting model is known as the **Process Reward Model (PRM)**.

![image.png](/static/img/df723208fa40a384592dcf9cd0fd58e4.image.png)

PRM offers significant advantages in complex reasoning tasks for several key reasons. First, it provides fine-grained, step-wise supervision, allowing for the identification of specific errors within a solution path. This feature is especially valuable for RL and automated error correction. Second, PRM closely mirrors human reasoning behavior, which relies on accurate intermediate steps to reach correct conclusions. Unlike ORM, PRM avoids situations where incorrect reasoning can still lead to a correct final answer, thus ensuring more robust and interpretable reasoning.

**PRM face challenges:**
1. **Lack of Explanations:** Current PRMs often generate scores for reasoning steps without sufficient explanations, limiting interpretability and hindering their usefulness in refining reasoning during test-time.
2. **Bias in Training Data:** Data collection methods, such as MCTS, tend to introduce distributional biases, assigning disproportionately higher scores to majority of questions. As a result, PRMs struggle to effectively identify erroneous reasoning steps.
3. **Early-Step Bias:** PRMs show lower accuracy in predicting rewards for earlier reasoning steps compared to those closer to the final answer. This issue stems from the increased randomness and uncertainty associated with the initial steps in the reasoning process.

### Self Improvement

![image.png](/static/img/144b00eaf70fb1ba971a350433023019.image.png)

### Macro Action

![image.png](/static/img/8c35c3182f19b514ebe8038a2b3af503.image.png)

### Reinforcement Fine-Tuning

Reinforcement Fine-Tuning (RFT) is an innovative technique recently introduced by OpenAI, designed to enable developers and engineers to fine-tune existing models for specific domains or complex tasks.


![image.png](/static/img/1b41daede334276b492267837c270f60.image.png)

**Key advantages include:**
1. **Simplified Training Pipline:** RL supervision streamlines data construction and training processes, eliminating the need for complex stepwise search mechanisms.
2. **Enhanced Scalability:** Online RL training facilitates efficient scaling on large datasets, particularly for complex reasoning tasks.
3. **Emergent Properties:** DeepSeek-R1 demonstrates unique emergent capabilities, such as Long-CoT reasoning, which are difficult to achieve through SFT alone.

**RFT faces the following challenges:**
1. **Unclear Mechanism behind Reasoning:** The underlying mechanisms driving the reasoning improvements in DeepSeek-R1 remain poorly understood. For example, while DeepSeek-R1 exhibits emergent properties (e.g., “Emergent Length Increasing”, “Aha moments”), studies such as suggest that capabilities like Long-CoT might already exist in the base model, rather than solely emerging from RL training. Furthermore, performance gains observed in smaller models (e.g., Qwen-Math2B/7B) occur without noticeable “Aha moments”, complicating causal interpretations.
2. **Reward Model Saturation:** Many existing RL algorithms face reward model saturation, typically manifested as exploration collapse after around 100 training steps. Although DeepSeek-R1 alleviates this issue through specialized reward formatting, methods like ReFT and Satori propose alternating sampling and SFT distillation to combat reward hacking and exploration collapse.
3. **Unstable Long-CoT Generation:** Long reasoning chains generated by RFT are prone to instability, including context overflow, failure to return final answers, and sensitivity to reward shaping. For instance, methods like inadvertently introduce cosine reward functions, which degrade performance with increased iterations. O1-Prune uses post-hoc length pruning techniques (via RL/SFT) to stabilize outputs.

**Future directions** for RFT may include several exciting and innovative advancements, such as:
1. Efficient and Stable RL Frameworks
2. Scaling RFT
3. Controlling Long-CoT Stability
4. Theoretical and Empirical Analysis

推理LLM的一个关键挑战是快速思考的功能的丧失，这会导致效率低下时，当简单的任务需要不必要的深层推理时。与人类在快速（系统1）和慢速（系统2）思考之间的流畅切换不同，当前的推理LLM难以维持这种平衡。虽然推理LLMS确保有意和彻底的推理，但快速思维的系统依靠先验知识来快速响应。

## Benckmarks

![image.png](/static/img/6b30f3ca0b780364b954c67bf99490cb.image.png)

![image.png](/static/img/d4390c79a4a2cc201d80fe9f44656e33.image.png)

![image.png](/static/img/f2e9be4ed0b37791dab157ecb6deeeba.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
### 1. 论文的创新之处与独特性：
这篇论文《From System 1 to System 2: A Survey of Reasoning Large Language Models》在自然语言处理和人工智能领域具有以下显著的创新点和独特性：

#### (1) 系统化的“从System 1到System 2”框架
论文通过引入双系统认知理论（System 1和System 2），将人类的快速直觉式决策（System 1）与深度分析型推理（System 2）映射到大语言模型（LLMs）的能力演化中。这种框架有效地解释了从基础LLMs到推理LLMs的技术进步，并明确了构建“慢思考”推理能力的核心挑战。

#### (2) 对推理LLMs的核心技术方法的全面综述
论文从五个关键方法（结构搜索、奖励建模、自我改进、宏观动作、强化微调）深入剖析了推理LLMs的构建过程，提供了清晰的技术路线图。这种细粒度的分析不仅展示了当前的研究进展，还揭示了各方法的优缺点及适用场景。

#### (3) 推理LLMs的性能评估与基准分析
论文系统总结了推理LLMs在数学、代码生成、科学推理等多个领域的主流基准测试和评价指标，并对比了不同模型（如GPT-4o、DeepSeek-R1、OpenAI o1/o3）的性能。这种全面的基准分析为后续研究者提供了清晰的对比基准。

#### (4) 未来方向的展望
论文提出了多个具有前瞻性的研究方向，包括高效推理LLMs的开发、快慢思维协同系统、多模态推理、多语言推理，以及神经-符号系统的深度融合。这些方向具有较强的学术价值和实际应用潜力。

---

### 2. 论文中存在的问题及改进建议：

#### (1) **对System 1与System 2的边界定义不够清晰**
尽管论文强调了“从System 1到System 2”的转变，但在技术实现层面上，对何时需要从快速决策转向深度推理缺乏明确的划分标准。这种模糊性可能导致模型在简单任务中过度推理或在复杂任务中推理不足。

**改进建议**：
- 引入任务复杂度的动态评估机制，通过模型在推理过程中的不确定性水平（如置信度分布）来动态切换System 1和System 2。
- 开发快慢思维切换的统一框架，结合强化学习与监督学习进行联合优化。

#### (2) **推理LLMs的效率问题被低估**
论文提到推理LLMs在长推理链上的性能优势，但忽略了其高计算成本和时间延迟的问题。尤其是在实时应用场景中，这种长推理链可能难以满足效率需求。

**改进建议**：
- 在推理链中引入早停机制，即当模型的中间推理结果已经达到高置信度时，终止进一步推理。
- 探索轻量级的推理模型（如3B或7B参数规模）如何通过知识蒸馏或高效微调实现类似的推理性能。

#### (3) **多模态推理的研究深度不足**
虽然论文提到了多模态推理的重要性，但对如何在视觉、文本和其他模态间进行深度推理整合的技术细节讨论较少。

**改进建议**：
- 针对多模态推理任务，提出跨模态的统一表示框架，结合视觉Transformer和文本Transformer进行联合建模。
- 引入多模态推理的专用基准，如科学实验设计或复杂工程问题，以测试模型的跨模态推理能力。

---

### 3. 基于论文的内容和研究结果，提出的创新点或研究路径：

#### (1) **创新点1：快慢思维协同推理系统**
开发一个融合快思维（System 1）和慢思维（System 2）的动态协同推理框架，使模型能够根据任务复杂度和推理需求自适应地切换推理模式。

#### (2) **创新点2：高效推理LLMs的压缩与优化**
探索如何通过参数压缩、知识蒸馏和奖励建模优化，构建轻量级但性能接近大型推理LLMs的高效推理模型。

#### (3) **创新点3：多模态推理的层次化结构**
设计一个层次化的多模态推理框架，结合视觉、文本和符号推理能力，解决复杂的跨模态任务（如医学诊断、科学实验设计）。

---

### 4. 为新的研究路径制定的研究方案：

#### **研究路径1：快慢思维协同推理系统**

**研究方法**：
1. **任务复杂度评估**：设计任务复杂度评估指标（如置信度分布、推理路径长度），用于动态切换快慢思维模式。
2. **快慢思维切换机制**：结合强化学习和监督学习，训练模型在简单任务中快速决策，在复杂任务中调用慢推理模块。
3. **模块化推理框架**：开发一个可扩展的模块化框架，其中快思维模块负责快速生成初步答案，慢思维模块进行深度验证和调整。

**研究步骤**：
1. 数据准备：构建包含简单任务（如基础数学问题）和复杂任务（如多步逻辑推理）的混合数据集。
2. 模型训练：基于Transformer架构，训练快慢思维模块，并通过联合优化实现两者的协同工作。
3. 实验评估：在多种基准测试（如GSM8K、Codeforces）上验证模型性能，并评估其效率。

**期望成果**：
- 快慢思维协同模型在复杂任务中性能优于单一推理模式模型，同时在简单任务中保持高效。
- 提供一种普适的快慢思维切换机制，适用于多种任务场景。

---

#### **研究路径2：高效推理LLMs的压缩与优化**

**研究方法**：
1. **知识蒸馏**：将大型推理LLMs的能力迁移到轻量级模型（如7B或3B参数规模）。
2. **奖励建模优化**：通过奖励建模引导轻量级模型的推理路径选择，提升其推理效率。
3. **参数压缩**：结合剪枝和量化技术，进一步降低模型的计算成本。

**研究步骤**：
1. 蒸馏数据集构建：使用大型推理LLMs生成高质量的推理路径作为蒸馏数据。
2. 蒸馏训练：训练轻量级模型模仿大型模型的推理能力。
3. 参数优化：应用剪枝和量化技术，优化模型的存储和计算效率。

**期望成果**：
- 轻量级模型的推理性能接近大型模型，同时计算成本降低50%以上。
- 提供一套高效推理LLMs的通用优化方法。

---

#### **研究路径3：多模态推理的层次化结构**

**研究方法**：
1. **跨模态表示学习**：开发统一的跨模态表示框架，将视觉、文本和符号信息映射到共享的语义空间。
2. **层次化推理结构**：设计多层推理模块，底层处理单模态推理，高层进行跨模态信息融合与推理。
3. **多模态奖励建模**：针对多模态任务设计奖励函数，引导模型在推理过程中更好地融合不同模态的信息。

**研究步骤**：
1. 数据准备：收集多模态推理任务数据集（如医学影像诊断、科学实验设计）。
2. 模型训练：基于Transformer架构，训练多模态推理模型，并通过奖励建模进行优化。
3. 实验评估：在多模态基准测试（如MathVision、MathVista）上验证模型性能。

**期望成果**：
- 提出一种通用的多模态推理框架，显著提升模型在跨模态任务中的性能。
- 为多模态推理任务提供新的技术路径和基准数据集。

:::

# Others

[arXiv-2025] From System 1 to System 2: A Survey of Reasoning Large Language Models

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2501.12948 |
> | Code & Data | / |
> | Public      | arXiv |
> | Date        | 2025.02.28 |


# Summary Overview

本文介绍了 DeepSeek-R1，DeepSeek-R1-Zero 模型。其中 DeepSeek-R1-Zero 是直接使用的 RL 没有经过 SFT 阶段。DeepSeek-R1-Zero是一种通过大规模增强学习（RL）训练的模型，而无需监督微调（SFT）作为初步的步骤，表现出了显着的推理能力。

# Main Content

![image.png](/static/img/afa39053834ca7215392e1267618c700.image.png)

OpenAI的O1（OpenAI，2024b）系列模型是第一个通过增加思考推理过程的长度来引入推理时间缩放的模型。我们的目标是探索LLMS在没有任何监督数据的情况下开发推理能力的潜力，并通过纯RL过程着重于他们的自我进化。这表明，较大的基本模型发现的推理模式对于提高推理能力至关重要。

## DeepSeek-R1-Zero: Reinforcement Learning on the Base Model

在本节中，我们探讨了LLM在没有任何监督数据的情况下发展推理能力的潜力，并通过纯粹的强化学习过程着重于他们的自我进化。

我们采用 Group Relative Policy Optimization (GRPO)

![image.png](/static/img/2225c8942c8210e5c174fbf736f1f619.image.png)

![image.png](/static/img/c1c3de438d21abce4241f037add9b2f7.image.png)

**Two types of rewards:**
- **Accuracy rewards:** The accuracy reward model evaluates whether the response is correct. For example, in the case of math problems with deterministic results, the model is required to provide the final answer in a specified format (e.g., within a box) enabling reliable rule-based verification of correctness. Similarity, for LeetCode problems, a complier can be used to generate feedback based on predefined test cases.
- **Format rewards:** In addition to the accuracy reward model, we employ a format reward model that enforces the model to put its thinking process between `<think>` and `</think>` tags.

![image.png](/static/img/8fd7f8a9f852b7b607d3513328066048.image.png)

![image.png](/static/img/861b34ce32e0b0357131f4ff63937fe0.image.png)

![image.png](/static/img/5f14afa855d65f11b8964c9da2bd2c1d.image.png)

![image.png](/static/img/e484e9ffae904584612550389ea7677f.image.png)

**Aha Moment of DeepSeek-R1-Zero**

它强调了增强学习的力量和美观：我们没有明确教授有关如何解决问题的模型，而只是为其提供了正确的激励措施，并且自主会自主制定高级问题解决策略。 “ AHA时刻”有力地提醒了RL在人工系统中解锁新智能水平的潜力，为将来的更自主和自适应模型铺平了道路。

![image.png](/static/img/f6b201faa71cbecb977dda891da6c89a.image.png)

## Evaluation

![image.png](/static/img/1a951812890df831b4ed0a766020f969.image.png)

![image.png](/static/img/b26be93e71c94fc7d1458eac14dbe4bd.image.png)

首先，将更强大的模型蒸馏成较小的模型会产生出色的结果，而依赖本文提到的大规模RL的较小模型则需要巨大的计算功率，甚至可能无法实现蒸馏的性能。

其次，尽管蒸馏策略既经济又有效，但超越智能界限的前进仍然可能需要更强大的基础模型和大规模的增强学习。

## Future Work

**General Capability:** Currently, the capabilities of DeepSeek-R1 fall short of DeepSeek-V3 in tasks such as function calling, multi-turn, complex role-playing, and JSON output. Moving forward, we plan to explore how long CoT can be leveraged to enhance tasks in these fields.

**Language Mixing:** DeepSeek-R1 is currently optimized for Chinese and English, which may result in language mixing issues when handling queries in other languages. For instance, DeepSeek-R1 might use English for reasoning and responses, even if the query is in a language other than English or Chinese. We aim to address this limitation in future updates.

**Prompting Engineering:** When evaluating DeepSeek-R1, we observe that it is sensitive to prompts. Few-shot prompting consistently degrades its performance. Therefore, we recommend users directly describe the problem and specify the output format using a zero-shot setting for optimal results.

**Software Engineering Tasks:** Due to the long evaluation times, which impact the efficiency of the RL process, large-scale RL has not been applied extensively in software engineering tasks. As a result, DeepSeek-R1 has not demonstrated a huge improvement over DeepSeek-V3 on software engineering benchmarks. Future versions will address this by implementing rejection sampling on software engineering data or incorporating asynchronous evaluations during the RL process to improve efficiency.

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   - **纯强化学习（RL）驱动的推理能力训练**：论文提出了一种无需监督微调（SFT）的强化学习方法（DeepSeek-R1-Zero），通过直接在基础模型上应用RL，探索LLM自我进化的可能性。这一方法证明了在没有监督数据的情况下，LLM可以通过RL发展出复杂的推理能力，这在领域内是首次公开验证的成果。
   - **多阶段训练管道的设计**：论文提出了DeepSeek-R1的多阶段训练流程，包括冷启动数据的引入、推理导向的强化学习、拒绝采样生成监督数据以及多场景强化学习。这种管道有效地解决了DeepSeek-R1-Zero在可读性和语言一致性方面的缺陷，使得模型在推理任务上达到与OpenAI-o1-1217相当的水平。
   - **蒸馏技术的创新应用**：论文展示了如何将大型模型的推理能力蒸馏到较小的模型中，显著提升小模型的性能。尤其是，DeepSeek-R1-Distill-Qwen-32B在多个基准测试上的表现超过了同类开源模型，证明了蒸馏技术在推理能力迁移中的潜力。
   - **自发行为的观察与分析**：论文详细记录了DeepSeek-R1-Zero在RL过程中自发产生的复杂行为（如反思和重新评估），以及“aha时刻”的出现。这些现象展示了RL在模型智能进化中的潜力，为后续研究提供了重要的启发。

2. 论文中存在的问题及改进建议：
   - **冷启动数据的依赖性**：虽然冷启动数据有效提升了DeepSeek-R1的性能，但这种方法依赖于人为设计的数据集，可能限制了方法的普适性。改进建议是探索更自动化的数据生成方法，例如利用生成式对抗网络（GAN）或其他生成模型自动生成高质量的冷启动数据。
   - **语言混杂问题**：DeepSeek-R1在多语言任务中存在语言混杂的问题，尤其是当输入为非中英文时，模型倾向于使用英语进行推理和回答。改进建议是在RL过程中引入更细粒度的语言一致性奖励，或通过多语言数据增强训练集来改进模型的多语言适应性。
   - **对提示敏感**：论文指出DeepSeek-R1对提示的敏感性较高，尤其是少样本提示会显著降低模型性能。建议进一步研究提示工程（prompt engineering）技术，设计更鲁棒的提示策略，或者开发自适应提示优化机制，使模型能更好地适应多样化的输入格式。
   - **工程任务的局限性**：由于RL在软件工程任务中的应用受限，DeepSeek-R1在相关基准测试中的表现未能显著超越前代模型。建议在未来工作中引入异步评估机制或针对性的数据增强，以提升模型在工程任务中的表现。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：无监督数据生成与强化学习结合**：开发一种完全自动化的无监督数据生成框架，结合RL探索模型的自我进化能力，减少对冷启动数据的依赖。
   - **创新点2：多语言一致性推理奖励机制**：设计一种动态语言一致性奖励机制，在RL过程中实时评估和调整模型的语言输出比例，以提升多语言任务的适应性。
   - **创新点3：推理能力的跨领域迁移**：研究如何将数学和编码等领域的推理能力迁移到更复杂的开放领域任务中，例如科学推理和社会问题解决。

4. 为新的研究路径制定的研究方案：
   - **研究方案1：无监督数据生成与强化学习结合**
     - **研究方法**：利用生成式对抗网络（GAN）或变分自编码器（VAE）生成高质量的无监督推理数据，设计一个循环训练框架，模型在RL训练中生成新的数据，新的数据再用于优化GAN/VAE生成器。
     - **步骤**：
       1. 初始化GAN/VAE，生成初始推理数据。
       2. 使用生成的数据对基础模型进行RL训练。
       3. 从RL模型中采样新数据，更新GAN/VAE生成器。
       4. 循环上述过程，直到RL模型性能收敛。
     - **期望成果**：开发出一种完全自动化的推理能力提升方法，减少对人工数据设计的依赖，同时提升模型在无监督环境下的自我进化能力。

   - **研究方案2：多语言一致性推理奖励机制**
     - **研究方法**：设计一个动态语言奖励模块，通过实时监控模型输出的语言比例，结合目标语言的词频统计和语法特征，动态调整RL奖励信号。
     - **步骤**：
       1. 构建多语言数据集，涵盖多种任务类型。
       2. 在RL过程中引入语言奖励模块，实时计算目标语言的占比，并根据占比调整奖励值。
       3. 通过消融实验验证语言奖励模块对模型性能的影响。
     - **期望成果**：改进模型在多语言任务中的表现，减少语言混杂现象，并提升模型在非中英语言环境下的推理能力。

   - **研究方案3：推理能力的跨领域迁移**
     - **研究方法**：设计一个跨领域推理迁移框架，利用领域间的共性（如逻辑结构和问题分解），通过多任务学习和迁移学习提升模型的跨领域推理能力。
     - **步骤**：
       1. 选取数学、编码和科学推理等领域的基准数据集。
       2. 使用多任务学习方法训练模型，在共享参数的同时保留领域特定参数。
       3. 通过迁移学习将模型在特定领域的推理能力迁移到开放领域任务中。
       4. 使用开放领域基准测试评估模型性能。
     - **期望成果**：开发出一种具有通用推理能力的模型，能够在不同领域任务之间高效迁移推理能力，提升开放领域任务的表现。

:::

# Others

[arXiv-2025] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2411.14257 |
> | Code & Data | / |
> | Public      | arXiv |
> | Date        | 2025.01.15 |


# Summary Overview

本文使用稀疏自动编码器(SAE)来识别模型表示空间中的方向，该方向编码来关于实体的自我知识形式。作者证明，通过操纵这些方向，可以控制模型拒绝答案或幻觉信息的趋势。同时还提供了有关实体识别方向如何影响模型行为的见解，例如调节对实体 token 的关注以及它们在表达知识不确定性方面的影响。最后，发现了代表特定查询的模型不确定性的方向，能够区分正确和错误的答案。这项工作有助于对语言模型行为的理解，并为改善模型的可靠性和缓解幻觉提供了途径。

# Main Content

使用 SAE 作为一种可解释性工具，发现这些机制的关键部分是实体识别，该模型检测到实体是否是已知的。证明，尽管在基本模型上训练了稀疏的自动编码器，但这些方向对聊天模型的拒绝行为产生了因果影响，这表明聊天模型的微调已重新使用了这种现有机制。

SAE是一种可解释的工具，用于寻找模型表示的稀疏，可解释的分解。我们使用Gemma Scope（Lieberum等，2024），它提供了一套在Gemma 2型号（Team等，2024）上训练的SAE，并在Gemma 2 2b和9b中找到自我知识的内部表示。

**Contributions:**
- 使用稀疏的自动编码器（SAE），我们发现了实体最终令牌的表示空间中的指示，检测模型是否可以回忆起关于实体的事实，这是一种关于其自身能力的自我知识的形式。
- 我们的发现表明，实体识别方向跨越了各种实体类型：播放器，电影，歌曲，城市等。
- 我们证明，这些方向在聊天模型中拒绝知识，即通过指导这些方向，我们可以使模型幻觉而不是拒绝未知实体，并拒绝回答有关已知实体的问题。
- 我们发现，未知实体识别方向通过抑制属性提取头的注意来破坏事实召回机制，这在先前的工作中显示（Nanda等，2023; Geva等，2023）是该机制的关键部分。
- 我们不仅仅是理解知识拒绝的知识，还找到了可以预测不正确答案的不确定性的SAE潜伏期。

![image.png](/static/img/ab6f9a2cc23236f4d20c18fb37b10337.image.png)

**SAE 设置**

$$
\text{SAE}(x) = a(x) W_{\text{dec}} + b_{\text{dec}},
$$

$$
a(x) = \text{JumpReLU}_{\theta} \left( x W_{\text{enc}} + b_{\text{enc}} \right),
$$

**Steering with SAE Latents.**

Recall from Equation (1) that SAEs reconstruct a model's representation as 
$
x \approx a(x) W_{\text{dec}} + b_{\text{dec}}.
$ 
This means that the reconstruction is a linear combination of the decoder latents (rows) of $W_{\text{dec}}$ plus a bias, i.e. 
$
x \approx \sum_j a_j(x) W_{\text{dec}}[j, :].
$ 
Thus, increasing/decreasing the activation value of an SAE latent, $a_j(x)$, is equivalent to doing activation steering (Turner et al., 2023) with the decoder latent vector, i.e. updating the residual stream as follows:
$$
x^{\text{new}} \leftarrow x + \alpha d_j. \tag{4}
$$

![image.png](/static/img/09964b203c5dae093b944b48c64dd6bb.image.png)

一个有趣的观察结果是，潜在的分离得分揭示了所有实体类型的一致模式，在整个模型中分数都在增加，并且在平稳之前达到了第9层的峰值。

这表明在中间层中发现已知和未知实体的潜在区分。

高最小分离得分表明，潜在的跨实体类型的性能强大，表明强大的概括能力。这一发现指出了模型中实体表示的层次组织，质量更专业，质量更差，较早的层中的潜伏期以及中层层中出现的更广泛的，更高质量的实体型 - 型敏捷的特征。

![image.png](/static/img/7e92c7a816a0ec96a6b32886601a12af.image.png)

![image.png](/static/img/1511dbb588053a7b719963956e64273b.image.png)

![image.png](/static/img/d4439e7e6a64805ad1784941c684def3.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
   - **创新性方法：** 论文利用稀疏自编码器（Sparse Autoencoders, SAEs）作为一种解释性工具，发现了语言模型中存在的“实体识别方向”，这些方向能够编码模型对自身知识的评估能力。这种方法不仅揭示了模型内部对已知和未知实体的区分机制，还为理解模型的自我知识提供了新的视角。
   - **跨实体类型的通用性：** 研究表明，这些实体识别方向能够在多个实体类型（如电影、城市、歌曲、运动员）之间泛化，展示了其强大的通用性和适应性。
   - **因果相关性分析：** 通过操控这些方向，作者发现可以影响模型的行为，例如让模型对已知实体拒绝回答，或对未知实体生成虚假的信息。这种因果验证进一步证明了这些方向对模型行为的直接影响。
   - **机制性洞察：** 论文深入探讨了这些方向如何通过干扰模型的注意力机制来调节模型的事实回忆能力，特别是在实体属性提取过程中对注意力头的影响。
   - **错误预测的潜在标记：** 研究还揭示了某些稀疏自编码器方向可以预测模型可能产生错误回答的情况，为未来的错误检测和修复提供了新的方向。

2. 论文中存在的问题及改进建议：
   - **实验覆盖范围不足：** 论文主要集中在Gemma 2模型（2B和9B参数规模）上，缺乏在更大规模模型（如GPT-4或PaLM-2）上的验证。建议扩展实验范围，以验证这些发现是否适用于更大规模的模型。
   - **方向的可解释性不足：** 尽管发现了实体识别方向，但这些方向的具体语义含义仍然模糊。可以进一步利用可视化工具或语言特征分析方法，深入解释这些方向的含义。
   - **实际应用中的局限性：** 论文中的方法主要在实验室环境中测试，未探讨如何在实际应用中有效利用这些方向（如在医疗或法律领域）。建议设计真实场景下的测试，验证其实际效用。
   - **对未知实体的定义过于简单：** 论文将模型无法正确回答的实体归为“未知”，但未考虑模型可能部分掌握相关信息的情况。可以引入更细粒度的分类机制，例如“部分已知”或“模糊已知”。
   - **对稀疏自编码器的依赖性：** 论文高度依赖于稀疏自编码器，而未讨论其他可能的解释性工具（如特征分解或注意力分析）的潜力。可以尝试多种方法进行对比研究。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：** 探索更大规模模型中的实体识别方向，并研究这些方向是否在模型规模扩大后表现出更强的泛化能力或新的特性。
   - **创新点2：** 研究不同语言模型（如多语言模型或领域特化模型）中实体识别方向的差异，以及这些方向在跨语言或跨领域任务中的表现。
   - **创新点3：** 基于实体识别方向，开发一种动态拒绝机制，使模型能够更准确地评估自身知识边界，并在回答前动态调整回答策略。
   - **创新点4：** 结合实体识别方向与模型生成的不确定性，设计一种新的可解释性框架，用于实时检测和修复模型生成中的潜在错误。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：探索更大规模模型中的实体识别方向**
     - **研究方法：** 
       1. 选择多个大规模语言模型（如GPT-4、PaLM-2、LLaMA 3）进行实验。
       2. 在这些模型的中间层和输出层中应用稀疏自编码器，提取潜在的实体识别方向。
       3. 比较不同规模模型中方向的激活模式、泛化能力和因果效应。
     - **研究步骤：** 
       1. 设计一组覆盖多种实体类型的测试数据集。
       2. 对比分析不同模型中方向的分布和语义一致性。
       3. 验证方向对模型拒绝行为的因果影响。
     - **期望成果：** 
       1. 确定模型规模对实体识别方向的影响。
       2. 提供更大规模模型中方向的机制性洞察。
       3. 为大规模模型的解释性研究提供新工具。

   - **研究路径2：跨语言和领域的实体识别方向研究**
     - **研究方法：**
       1. 选择多语言模型（如mT5）和领域特化模型（如医疗领域的PubMedGPT）。
       2. 分析这些模型中实体识别方向的激活模式和语义特性。
       3. 研究方向在跨语言任务（如翻译）或跨领域任务（如医学问答）中的表现。
     - **研究步骤：**
       1. 构建多语言和多领域的实体测试集。
       2. 使用稀疏自编码器提取方向，并比较不同语言和领域中的特性。
       3. 测试方向在跨语言或跨领域任务中的转移能力。
     - **期望成果：**
       1. 揭示实体识别方向的语言和领域依赖性。
       2. 提供跨语言和跨领域模型优化的新思路。
       3. 为多语言和多领域任务设计更可靠的拒绝机制。

   - **研究路径3：基于实体识别方向的动态拒绝机制**
     - **研究方法：**
       1. 将实体识别方向与生成模型的不确定性结合，设计一种动态拒绝机制。
       2. 通过实时监测方向激活值，动态调整模型的回答策略（如拒绝回答或生成模糊答案）。
       3. 在实际应用场景（如医疗咨询、法律问答）中测试该机制的有效性。
     - **研究步骤：**
       1. 构建包含已知和未知实体的真实场景测试集。
       2. 实现动态拒绝机制，并集成到现有模型中。
       3. 测试该机制对回答准确性和用户满意度的影响。
     - **期望成果：**
       1. 提供一种更智能的拒绝机制，减少模型的错误回答。
       2. 提高模型在高风险场景中的可靠性。
       3. 推动语言模型在实际应用中的安全性和可信度。
:::

# Others