> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2504.01296 |
> | Code & Data | https://github.com/UCSB-NLP-Chang/ThinkPrune |
> | Public      | arXiv |
> | Date        | 2025.05.08 |


# Summary Overview

文章介绍了一个使用强化学习来减少 Reasoning Model 输出 CoT 长度的方法 THINKPRUNE。方法思想比较简单，通过设定 token 限制，任何没有完成的 response 和超过长度限制的都将被丢弃，从而获得的 reward 为0。

![image.png](/static/img/488f809bf97c9cd19ce86220bcbc34d9.image.png)

# Main Content

$$
R(Y, q; L) = 
\begin{cases} 
1 & \text{if an answer can be extracted from clip}(Y, L) \text{ and is correct}, \\
0 & \text{otherwise};
\end{cases}
$$

其实在实际的实现中，只管截断即可。因为长度超出了自然就不会获得最终的答案，reward 自动变成0。

作者在文中还提出了迭代式的训练方法，即 token 限制从 4K变为3K再最后变为2K。


![image.png](/static/img/1fabe5d1f69d7b89c175576d2d434c71.image.png)


![image.png](/static/img/6c564d15dd7a28a83a00462af4c778b0.image.png)


![image.png](/static/img/7dc24e4ea221d63dafdfa5e2a85185e9.image.png)

**Behavior Analaysis**


![image.png](/static/img/e9f651d7e58bfbc9a8e714924f9f7f75.image.png)

The left section contains phrases that signal hesitations or self-corrections, which we find under go a significant drop in frequency after pruning. This indicates that the model would hesitate less.

The middle section contains phrases that signal self-verification, which undergo a slight drop in frequency after pruning. This indicates that the model would sometimes skip the self-verification steps, which may sacrifice a little bit of accuracy, to save the token length. Finally, the right section contains phrases that signal core computation and reasoning, which have a slight increase in frequency despite the overall reduction in length. This indicates that the model would maintain the reasoning process, because that is the core process that contributes to the final solution.

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：

这篇论文的主要创新点在于解决LLM在推理过程中的"过度思考"问题，同时保持强大的推理性能。具体来说：

- 论文提出了一种方法来减少长链思维(long Chain-of-Thought)LLM中的冗余推理，同时保持其推理能力。这解决了现有强化学习训练的LLM虽然推理能力强但推理过程过长的问题。
- 论文表明，通过标准的强化学习训练管道，无需改变奖励函数，就能显著减少过度思考问题。这是一个重要发现，因为它表明可以在不牺牲性能的情况下提高推理效率。
- 研究指出，通过强化学习与可验证奖励(RLVR)训练的LLM(如OpenAI-o3和DeepSeek-R1)虽然展示了更深入的思考行为(如广泛探索和可行性检查)，但这些行为往往导致推理过程变得冗长，增加了推理成本。

从中我们可以学到的关键点是：
- 强化学习在提升LLM推理能力方面的潜力
- 推理效率与推理深度之间的权衡关系
- 如何在不牺牲性能的情况下优化LLM的推理过程

2. 论文中存在的问题及改进建议：

基于提供的上下文，可能存在的问题包括：

- 论文可能缺乏对不同任务类型下方法有效性的全面评估。改进建议：扩大评估范围，包括更多样化的任务类型，特别是那些需要不同深度推理的任务。
- 上下文中没有明确说明如何定量衡量"过度思考"。改进建议：建立更客观的指标来衡量推理过程中的冗余度，例如通过分析推理步骤的信息增益。
- 可能缺乏与其他压缩或优化方法的比较。改进建议：将提出的方法与其他推理优化技术(如知识蒸馏、剪枝等)进行比较，评估相对优势。
- 对于不同规模的模型，该方法的有效性可能有所不同。改进建议：研究方法在不同规模模型上的适用性，并提供相应的调整策略。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：

创新点1：自适应推理深度控制
- 开发一种机制，使LLM能够根据问题复杂度自动调整推理深度，简单问题使用简短推理，复杂问题保留深度思考。

创新点2：多粒度推理框架
- 设计一个分层推理框架，将推理过程分为高层规划和低层执行两个阶段，高层规划决定整体推理策略，低层执行负责具体细节，从而减少冗余思考。

创新点3：推理路径优化
- 开发一种算法来识别和优化LLM推理路径中的冗余或循环模式，类似于程序优化中的死代码消除。

创新点4：混合推理模型
- 结合短链思维和长链思维的优势，训练一个能够在不同模式间切换的混合模型，根据任务需求灵活调整推理深度。

4. 为新的研究路径制定的研究方案：

研究方案1：自适应推理深度控制

研究方法：
- 第一阶段：收集并标注不同复杂度问题的数据集，包括问题特征和最优推理深度
- 第二阶段：训练一个元控制器，学习预测给定问题所需的最佳推理深度
- 第三阶段：将元控制器与主LLM集成，实现动态推理深度调整

研究步骤：
1. 构建包含不同复杂度问题的多样化数据集
2. 为每个问题标注最优推理深度(可通过人工评估或自动化指标)
3. 设计并训练元控制器，输入为问题特征，输出为推荐的推理深度
4. 开发一种机制，使主LLM能够根据元控制器的建议调整推理过程
5. 在多个基准测试上评估系统性能，特别关注推理效率与准确性的平衡

期望研究成果：
- 一个能够根据问题复杂度自动调整推理深度的LLM系统
- 与固定推理深度相比，在推理效率上提高30%以上，同时保持或提高准确率
- 关于问题特征与最优推理深度关系的新见解

研究方案2：多粒度推理框架

研究方法：
- 设计一个两阶段推理框架，包括高层规划和低层执行
- 通过强化学习训练高层规划器，学习如何分解问题并分配资源
- 优化低层执行器，专注于高效完成具体推理步骤

研究步骤：
1. 设计高层规划器架构，负责问题分解和推理策略制定
2. 设计低层执行器架构，负责执行具体推理步骤
3. 开发两个组件间的通信协议和接口
4. 使用强化学习训练高层规划器，奖励函数结合准确性和效率
5. 优化低层执行器，专注于特定推理步骤的高效执行
6. 集成两个组件，形成完整的多粒度推理系统
7. 在复杂推理任务上评估系统性能

期望研究成果：
- 一个新型的分层推理框架，能够更高效地处理复杂推理任务
- 相比传统方法，在保持准确率的同时，推理步骤减少40%以上
- 关于如何最佳分解复杂推理问题的新方法论

研究方案3：推理路径优化

研究方法：
- 开发算法识别LLM推理过程中的冗余模式和循环
- 设计优化技术来压缩或消除这些冗余
- 结合程序分析和机器学习方法来自动化优化过程

研究步骤：
1. 收集大量LLM推理轨迹数据，包括成功和失败的案例
2. 开发算法来分析推理轨迹，识别常见的冗余模式和循环
3. 设计基于规则的优化器，用于消除明显的冗余
4. 训练机器学习模型来预测哪些推理步骤可能是冗余的
5. 将规则和学习型优化器结合，创建混合推理路径优化系统
6. 开发接口，允许优化器在LLM推理过程中实时干预
7. 在多个推理任务上评估系统性能

期望研究成果：
- 一套能够识别和优化LLM推理路径的算法工具包
- 推理效率提升50%以上，同时保持或提高准确率
- 关于LLM推理中常见冗余模式的新见解，可用于改进模型训练
:::

# Others

[arXiv-2025] ThinkPrune: Pruning Long Chain-of-Thought of LLMs via Reinforcement Learning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2503.16419 |
> | Code & Data | https://github.com/Eclipsess/Awesome-Efficient-Reasoning-LLMs |
> | Public      | arXiv |
> | Date        | 2025.03.28 |


# Summary Overview

作者针对于 Reasoning Model 中的 Overthinking 问题撰写了一个综述。将现有的工作分为了三类：model-based efficient reasoning, reasoning output-based efficient reasoning, input prompts-based efficient reasoning.

# Main Content

***Efficient Reasoning*** seeks to optimize reasoning length while preserving reasoning capabilities, offers practical benefits such as reduced computational costs and improved responsiveness for real-world applications. Despite its potential, efficient reasoning remains in the early stages of research.

1. **Model-based efficient reasoning:** Consider optimizing full-length reasoning models into more concise reasoning models or directly traininig efficient reasoning models.
2. **Reasoning output-based efficient reasoning:** Aims to dynamically reduce reasoning steps and length during inference.
3. **Input prompts-based efficient reasoning:** Seek to enhance reasoning efficiency based on input prompt properties such as difficulty or length control.

![image.png](/static/img/c50100b751d164ab38e0ffc92802131b.image.png)

Efficient reasoning in LLMs emphasizes smart and concise reasoning by optimizing the length of generated reasoning sequences and reducing unnecessary thinking steps.

![image.png](/static/img/ec1fbeabd2578fbb5dfe56a218b87fab.image.png)


![image.png](/static/img/1aa212b36ee9eb95d8febc4aec2f6ae3.image.png)

在长期的COT推理模型中，“过度思考现象”是指LLM会产生过度详细或不必要地详细的推理步骤，最终降低其解决问题的效率的情况。

## Model-based Efficient Reasoning

### RL with Length Reward Design

![image.png](/static/img/bf6ba984fd8fe8f6d4bacb52ea0c4c47.image.png)

原则上，length reward 将更高的分数分配给了简短，正确的答案，同时惩罚长度过长或是不正确的答案，从而优化了推理路径的长度。

![image.png](/static/img/902736b68e15c14d75e12766b65f5552.image.png)

### SFT with Variable-Length CoT Data

1. Constructing variable-length CoT reasoning datasets via various methods.
2. Applying SFT with collected data on reasoning models to enable LLMs to learn compact reasoning chains that encapsulate effective knowledge.

![image.png](/static/img/a69f5881888e686fca844ac045420850.image.png)


![image.png](/static/img/b8d04e92d0e0b99e5edc8cdfe7d36635.image.png)

## Reasoning Output-based Efficient Reasoning

> With fewer (or no) explicit textual intermediate steps, several new methods focus on compressing or replacing explicit CoT with more compact latent representations.

![image.png](/static/img/eed7d3160fd50d1f56d2c80926c70d7d.image.png)

研究表明，循环模型隐含地产生潜在的思想，使它们能够通过连续的循环模拟COT推理的多个步骤。

# 🤖

:::info{title=" "}
```
1. 论文的创新之处与独特性：
   - **首次系统化研究高效推理**：论文是第一篇系统性综述高效推理（Efficient Reasoning）领域的工作，明确提出了“高效推理”的重要性，并将相关研究分为三大方向：基于模型的高效推理、基于推理输出的高效推理、以及基于输入提示的高效推理。这种分类方式为后续研究提供了清晰的框架。
   - **揭示“过度思考”现象**：论文深入探讨了“过度思考”（Overthinking）现象，即模型在解决简单问题时生成冗长且冗余的推理路径，从而增加计算成本。通过案例分析，该问题的实际影响得到了量化，凸显了优化推理长度的重要性。
   - **多样化的技术总结**：论文涵盖了强化学习（RL）中的长度奖励设计、变长推理数据的监督微调（SFT）、隐式推理表示的压缩、动态推理范式等多个方向的技术手段，并详细分析了每种方法的优缺点。
   - **提出新的评估框架**：除了传统的准确性指标外，论文引入了推理效率、推理长度、以及“过度思考分数”等新评估指标，为未来的高效推理研究提供了更全面的评估视角。
   - **跨领域应用与讨论**：论文讨论了高效推理在自动驾驶、医疗、嵌入式AI等领域的潜在价值，强调其在实际应用中的经济和社会效益。

2. 论文中存在的问题及改进建议：
   - **对方法的定量比较不够全面**：尽管论文总结了多种高效推理方法，但缺乏对这些方法在统一基准下的定量比较，例如不同方法在推理长度、准确性、计算成本之间的权衡。
     - **改进建议**：未来工作可以设计一个综合性的基准测试框架（如统一数据集和评估指标），对各类方法进行系统性比较。
   - **对小模型推理能力的分析较浅**：论文提到小模型（SLMs）的推理能力，但主要集中于蒸馏和压缩技术，对小模型在不同任务上的实际性能和局限性缺乏深入讨论。
     - **改进建议**：进一步研究小模型在特定任务下的推理能力，并探索如何通过任务适配或轻量化技术提升其性能。
   - **对动态推理范式的实际实现讨论不足**：论文提到动态推理（如长度过滤、基于信心的早停等），但缺乏对这些方法在实际系统中的部署复杂性和性能影响的深入讨论。
     - **改进建议**：研究如何在实际应用中高效实现动态推理范式，包括硬件优化和推理时间的分布式管理。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：基于多模态输入的高效推理**：结合视觉、语言和语音等多模态输入，研究如何通过压缩推理路径，实现跨模态推理任务的高效性。
   - **创新点2：自适应推理路径生成**：开发能够根据任务难度、用户需求动态调整推理长度的模型，提升推理效率的同时保证结果准确性。
   - **创新点3：推理效率与安全性的联合优化**：研究如何在保持推理效率的同时，增强模型的安全性，例如防止生成有害内容或错误推理。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：基于多模态输入的高效推理**
     - **研究方法**：
       1. 构建一个多模态推理数据集，包括视觉问答、图文推理、多模态翻译等任务。
       2. 设计一种多模态推理模型，结合视觉和语言模态，通过隐式表示压缩推理路径。
       3. 利用强化学习设计奖励函数，鼓励模型生成简洁但准确的推理路径。
     - **研究步骤**：
       1. 数据预处理与标注，确保多模态数据的一致性与质量。
       2. 模型训练与微调，测试不同模态融合策略对推理效率的影响。
       3. 实验评估，比较多模态模型与单模态模型在推理效率和准确性上的表现。
     - **期望成果**：提出一种高效的多模态推理框架，在多个跨模态任务中实现推理路径的显著压缩。

   - **研究路径2：自适应推理路径生成**
     - **研究方法**：
       1. 基于模型的不确定性估计，动态调整推理路径的长度。
       2. 利用元学习方法，让模型在训练时学习如何根据任务难度调整推理路径。
     - **研究步骤**：
       1. 构建一个包含不同难度级别问题的数据集。
       2. 设计一个动态推理模块，结合不确定性估计和任务特征进行路径调整。
       3. 通过实验验证动态推理模块在不同任务上的适应性和性能。
     - **期望成果**：开发出一种自适应推理模型，能够在保证准确性的前提下显著降低推理长度。

   - **研究路径3：推理效率与安全性的联合优化**
     - **研究方法**：
       1. 在推理过程中引入安全性评估模块，实时检测可能的错误或有害推理。
       2. 结合强化学习和监督学习，优化模型在效率和安全性之间的平衡。
     - **研究步骤**：
       1. 构建一个包含潜在有害推理样本的训练数据集。
       2. 设计一个安全性评估指标，并将其加入推理奖励函数中。
       3. 通过实验比较不同模型在推理效率和安全性上的表现。
     - **期望成果**：提出一种高效且安全的推理模型，能够在实际应用场景中显著降低推理成本，同时避免生成错误或有害内容。
```
:::

# Others

[arXiv-2025] Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models_

linux服务器配置

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2501.12599 |
> | Code & Data | / |
> | Public      | arXiv |
> | Date        | 2025.03.19 |


# Summary Overview

Kimi k1.5 技术报告，主要聚焦于其中使用的 Reinforcement Learning 技术。

# Main Content

扩展强化学习（RL）为人工智能的持续改进开辟了一条新的轴线，大型语言模型（LLM）有望通过学习探索奖励来扩展其训练数据。

![image.png](/static/img/2c45cc54e9b4318e7b649bfb4a29e611.image.png)

![image.png](/static/img/90e67c84c8cc41ef3ade1af794d9bd53.image.png)

Using RL with LLMs, the models learns to explore with rewards and thus is not limited to a pre-existing static dataset.

**Key ingredients:**
- Long context scaling: 观察到持续的性能提升伴随着增长的 context length.
- Improved policy optimization: We derive a formulation of RL with long-CoT and employ a variant of online mirror descent for robust policy optimization. This algorithm is further improved by our effective sampling strategy, length penalty, and optimization of the data recipe.

Moreover, we present effective long2short methods that use long-CoT techniques to improve short-CoT models. Specifically, our approaches include applying length penalty with long-CoT activations and model merging.

**Stages**: pretraining, vanilla supervised fine-tuning (SFT), long-CoT supervised fine-tuning, and reinforcement learning (RL).

**Three key properties** define a high-quality RL prompt set:
- Diverse Coverage
- Balanced Difficulty: The prompt set should include a well-distributed range of easy, moderate, and difficult questions to facilitate gradual learning and prevent overfitting to specific complexity levels.
- Accurate Evaluability: Prompts should allow objective and reliable assessment by verifiers, ensuring that model performance is measured based on correct reasoning rather than superficial patterns or random guess.

经验观察表明，一些复杂的推理问题可能有相对简单和容易猜测的答案，从而导致假阳性验证--即模型通过错误的推理过程得出正确答案。为解决这一问题，我们排除了容易出现此类错误的问题，如多项选择题、真/假题和基于证明的问题。此外，对于一般的答题任务，我们提出了一种简单而有效的方法来识别和删除易被破解的提示。具体来说，我们会提示模型猜测可能的答案，而无需任何 CoT 推理步骤。如果模型在 N 次尝试内预测出正确答案，则认为该提示太容易被破解，并将其删除。我们发现，设置 N = 8 可以删除大部分易被破解的提示。

**Human-like reasoning:**
- **planning**: the model systematically outlines steps before execution;
- **evaluation**: critical assessment of intermediate steps;
- **reflection**: enable the modle to reconsider and refine its approach;
- **exploration**: encourage consideration of alternative solutions;

**Reinforcement Learning**

When solvinig problem $x$, thoughts $z_t\sim\pi_\theta(\cdot|x,z_1,\cdots,z_{t-1})$ are auto-regressively sampled, followed by the final answer $y\sim\pi_\theta(\cdot|x,z_1,\cdots,z_{t-1})$ are auto-regressively sampled, followed by the final answer $y\sim\pi_\theta$ to denote this sampling procedure.

Rather than explicitly constructing a search tree and implementing a planning algorithm, we could potentially train a model to approximate this process.

**Reward**
- For verifiable problems, the reward is directly determined by predefined criteria or rules.
- For problems with free-form ground truth, we train a reward model $r(x,y,y^*)$ that predicts if the answer matches the ground truth.

Optimize the policy:

$$
\max_{\theta} \mathbb{E}_{(x,y^*) \sim \mathcal{D}, (y,z) \sim \pi_{\theta}} [r(x, y, y^*)] \,.
$$

**Policy Optimization**

$$
\max_{\theta} \mathbb{E}_{(x,y^*) \sim \mathcal{D}} \left[ \mathbb{E}_{(y,z) \sim \pi_{\theta}} \left[ r(x,y,y^*) \right] - \tau \mathrm{KL}(\pi_{\theta}(x) \| \pi_{\theta_{i}}(x)) \right],
$$

surrogate loss:

$$
L(\theta) = \mathbb{E}_{(x,y^*) \sim \mathcal{D}} \left[ \mathbb{E}_{(y,z) \sim \pi_{\theta_i}} \left[ \left( r(x,y,y^*) - \tau \log Z - \tau \log \frac{\pi_\theta(y,z|x)}{\pi_{\theta_i}(y,z|x)} \right)^2 \right] \right]
$$

gradient

$$
\frac{1}{k} \sum_{j=1}^{k} \left( \nabla_\theta \log \pi_\theta(y_j, z_j|x)(r(x, y_j, y^*) - \bar{r}) - \frac{\tau}{2} \nabla_\theta \left( \log \frac{\pi_\theta(y_j, z_j|x)}{\pi_{\theta_i}(y_j, z_j|x)} \right)^2 \right)
$$

**Length Penalty**

$$
\text{len\_reward}(i) = 
\begin{cases} 
\lambda & \text{If } r(x, y_i, y^*) = 1 \\
\min(0, \lambda) & \text{If } r(x, y_i, y^*) = 0
\end{cases}
, \quad \text{where } \lambda = 0.5 - \frac{\text{len}(i) - \text{min\_len}}{\text{max\_len} - \text{min\_len}}.
$$

This length-based reward is then added to the original reward with a weighting parameter.

In our preliminary experiments, length penalty may slow down training during the initial phases. To alleviate this issue, we propose to gradually warm up the length penalty during training. Sepcifically, we employ standard policy optimization without length penalty,followed by a constant lenght penalty for the rest of training.

**Sampling Strategies**

First, the RL training data we collect naturally come with different difficulty labels. Second, because the RL training process samples the same problem multiple times, we can also track the success rate for each individual problem as a metric of difficulty.

- Curriculum Sampling: We start by training on easier tasks and gradually progress to more challenging ones.
- Prioritized Sampling: We track the success rate $s_i$ for each problem $i$ and sample problems proportional to $1-s_i$, so that problems with lower success rates receive higher sampling probabilities. This directs the model's efforts toward its weakest areas, leading to faster learning and better overall performance.

**Long2short: Context Compression for Short-CoT Models**

Though long-CoT models achieve strong performance, it consumes more test-time tokens compared to standard short-CoT LLMs. However, it is possible to transfer the thinking priors from long-CoT models to short-CoT models so that performance can be improved even with limited test-time token budgets.

- Model Merging: we merge the two models by simply averaging their weights.
- Shortest Rejection Sampling
- DPO
- Long2short RL

**RL Infrastructure**
![image.png](/static/img/79859ac3837b8b5031b5cf6c23a86992.image.png)

Rollout Phase & Training Phase: During the rollout phase, rollout workers, coordinated by a central master, generate rollout trajectories by interacting with the model, producing sequences of responses to various inputs. In the subsequent training phase, trainer workers access these experiences to update the model's weights. This cyclical process allows the model to continuously learn from its actions, adjusting its strategies over time to enhance performance.

Partial Rollouts for Long CoT RL: Partial rollouts is a key technique that effectively addresses the challenge of handling long-CoT features by managing the rollouts of both long and short trajectories. It ensures that no single lengthy trajectory monopolizes the system's resources. Moreover, since the rollout workers operate asynchronously, when some are engaged with long trajectories, others can independently process new, shorter rollout tasks. The implementation of partial rollouts also offers repeat detection. The system identifies repeated sequences in the generated content and terminates them early, reducing unnecessary computation while maintaining output quality. Detected repetitions can be assigned additional penalties, effectively discouraging redundant content generation in the prompt set.

**Hybird Deployment of Training and Inference**

![image.png](/static/img/6c976a1f66d398ac436846eea17d1e98.image.png)

- Training Phase: At the outset, Megatron and vLLM are executed within separate containers, encapsulated by a shim process known as checkpoint-engine. Megatron commences the training procedure. After the training is completed, Megatron offloads the GPU memory and prepares to transfer current weights to vLLM.
- Inference Phase: Following Megatron's offloading, vLLM starts with dummy model weights and updates them with the latest ones transferred from Megatron via Mooncake. Upon completion of the rollout, the checkpoint-engine halts all vLLM processes.
- Subsequent Training Phase: Once the memory allocated to vLLM is released, Megatron onloads the memory and initiates another round of training.

**Results**

![image.png](/static/img/9e23205a692b3e3e21107ebc47a575dd.image.png)

![image.png](/static/img/9b2edf8b6c2eea1432c0c2824a61d331.image.png)

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **长上下文扩展与RL优化的结合**：论文提出了一种将长上下文扩展（128k tokens）与强化学习（RL）结合的训练方法。这种方法通过部分回溯采样（Partial Rollouts）大幅提高了训练效率，同时展示了长上下文对复杂推理任务的显著提升效果。这种方法避免了传统强化学习中对复杂规划算法（如蒙特卡洛树搜索）的依赖，简化了框架设计。
   - **多模态数据融合与推理能力提升**：Kimi k1.5 模型通过多模态数据（文本与视觉）的联合训练，在跨模态推理任务（如 MathVista 和 MMMU）上达到了最先进的性能。其多模态数据策略涵盖了图像-文本交错数据、OCR数据和知识型数据，特别是对视觉推理能力的强化值得关注。
   - **长到短（Long2Short）方法**：论文提出了长到短的迁移方法，通过将长链式推理（Long-CoT）的思维过程压缩到短链式推理（Short-CoT）中，显著提高了短推理模型的性能，同时保持了较高的推理效率。这种方法包括模型融合、最短拒绝采样、DPO（直接偏好优化）和RL微调等多种技术。
   - **简化的强化学习优化框架**：论文采用了一种基于在线镜像下降（Online Mirror Descent）的简化强化学习优化方法，并结合长度惩罚策略，有效控制了模型的“过度思考”现象，优化了推理效率。

2. 论文中存在的问题及改进建议：
   - **长上下文的硬件依赖性**：长上下文扩展（128k tokens）对硬件资源的需求极高，尤其是在推理阶段可能导致实际应用的受限。改进建议：探索更高效的上下文压缩方法，例如基于注意力稀疏化的技术，或开发更轻量级的推理框架。
   - **多模态数据的质量控制与偏差**：虽然论文强调了多模态数据的质量控制，但具体的偏差消除策略（如视觉数据中语言偏差的处理）未详尽描述。改进建议：引入更多自动化的偏差检测与修正机制，例如通过对不同模态的特征分布进行对比分析，确保模型在多模态任务中的泛化能力。
   - **长到短方法的泛化性不足**：长到短（Long2Short）方法在短链式推理任务上表现优异，但其对更复杂的跨模态任务（如视觉-文本推理）的泛化性尚未充分验证。改进建议：在实验中增加更多高复杂度的跨模态任务，验证长到短方法的适用范围。
   - **奖励模型的透明性和鲁棒性**：论文中提到的奖励模型在某些任务中可能存在主观性和不一致性。改进建议：开发更透明的奖励模型评估标准，例如通过引入多种验证机制（如多样性评分和一致性评分）提高奖励模型的鲁棒性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：基于稀疏注意力的长上下文高效推理框架**
     - 研究背景：长上下文扩展虽然提升了推理能力，但对计算资源的需求极高。可以引入稀疏注意力机制减少计算开销。
   - **创新点2：多模态联合推理中的模态对齐优化**
     - 研究背景：多模态数据中存在模态间信息不一致的问题，例如视觉和文本信息的语义不匹配。可以探索更高效的模态对齐方法。
   - **创新点3：动态上下文压缩与推理优化**
     - 研究背景：长上下文模型在推理时可能包含大量冗余信息。可以研究动态上下文压缩方法，根据任务需求实时调整上下文长度。

4. 为新的研究路径制定的研究方案：
   - **研究方案1：基于稀疏注意力的长上下文高效推理框架**
     - 方法：设计一种基于稀疏注意力的Transformer结构，通过局部注意力窗口和全局关键节点的结合，减少计算复杂度。
     - 步骤：
       1. 设计稀疏注意力机制，确保在长上下文中捕捉关键信息。
       2. 在现有的长上下文任务上（如MATH-500和AIME 2024）进行实验，验证性能和效率。
       3. 比较稀疏注意力模型与全局注意力模型的性能差异，特别是在推理时间和准确率上的表现。
     - 期望成果：在保持推理准确率的前提下，将计算开销降低50%以上，为长上下文模型的实际应用提供更可行的解决方案。

   - **研究方案2：多模态联合推理中的模态对齐优化**
     - 方法：引入一种基于对比学习的模态对齐方法，通过对齐视觉和文本特征空间，提升多模态推理能力。
     - 步骤：
       1. 构建一个大规模的多模态对齐数据集，确保视觉和文本信息的语义一致性。
       2. 设计对比学习损失函数，使视觉和文本特征在共享空间中最大程度对齐。
       3. 在多模态基准（如MathVista和MMMU）上进行评估，验证对齐方法的有效性。
     - 期望成果：在多模态任务上提升5%以上的准确率，同时增强模型对跨模态任务的泛化能力。

   - **研究方案3：动态上下文压缩与推理优化**
     - 方法：开发一种动态上下文压缩算法，根据任务复杂度和上下文相关性实时调整输入长度。
     - 步骤：
       1. 设计上下文压缩模块，结合注意力权重和语义相似度选择关键上下文片段。
       2. 在长上下文任务上进行实验，分析动态压缩对推理效率和准确率的影响。
       3. 将动态压缩算法与长到短方法结合，进一步提升短链式推理任务的性能。
     - 期望成果：在不显著降低准确率的情况下，将推理时间缩短30%以上，并提高短链式推理任务的整体效率。
:::

# Others

[arXiv-2025] Kimi k1.5: Scaling Reinforcement Learning with LLMs

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2502.20122 |
> | Code & Data | https://github.com/TergelMunkhbat/concise-reasoning |
> | Public      | arXiv |
> | Date        | 2025.03.19 |


# Summary Overview

作者认为典型的推理路径 (Reasoning Path) 中包含了许多冗余令牌，从而产生了无关的推理成本。为了让模型的推理路径更加简洁，作者构造相关的微调数据，并对模型进行微调，从而提升效果。

![image.png](/static/img/1025fad5d3f44bafa48effd7e8c3d6ce.image.png)

图 1 中所示的推理路径长度分布揭示了一个 insight：在模型的输出分布中，存在更有效的推理路径，并且模型有简化推理的潜力。

# Main Content

作者们使用的是 Self-training 的方法微调模型，因为他们认为 Self-training 不仅仅去掉了对于其他模型的依赖，并且有助于模型保持推理能力，因为训练数据是来源于模型自己的数据分布。

数据集构造方法：
- **BoN**(Naive Best-of-N Sampling): 使用 BoN 来采样不同的推理路径。对于每一个问题生成了 N 个推理路径，并且选出其中最短的一个推理路径。如果一个问题不存在正确的推理路径，则将这个问题给移出数据集。
- FS (Few-shot conditioned sampling): 根据三种 few-shot 样例的来源不同，又可以分为下面三种
    - **FS-Human**: Human annotated examples
    - **FS-GPT-4o**: Examples from GPT-4o
    - **FS-Self**: Self-generated samples
- **FS-BoN**(Few-shot conditioned BoN sampling): 使用 GPT-4o 的examples + BoN
- Augmentation for FS and FS-BoN: 将 zero-shot 和 few-shot 的数据融合，取出其中最短的回复作为最终数据。因为在 few-shot 中生成的数据可能存在一些问题。

![image.png](/static/img/2333b99cbf7822d07f46aebb2cac7af9.image.png)

![image.png](/static/img/709cbc640b9cc298c1aeddf91d22f05b.image.png)

**Example:**

![image.png](/static/img/b69c9a6b79e9a99e85e61480d7fee696.image.png)

我们认为，将简洁的推理监督或奖励纳入培训管道可能对模型效率有益，尤其是对于具有冗长内部推理的“思考”模型。

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：

论文的主要创新点在于探索了如何在不牺牲推理质量的前提下减少大语言模型(LLM)链式思考推理过程中所需的token数量。具体创新之处包括：

- 聚焦于原始CoT框架的简化：不同于其他研究扩展CoT能力的方向，该论文回归基础，专注于如何使基本CoT推理过程更加高效。这一方向在当前大模型推理成本高昂的背景下具有重要的实用价值。

- 提出了"简洁推理"(Concise Reasoning)的概念：论文探讨了减少推理过程中token数量的最简单方法，这对于资源受限的环境尤为重要。

- 与最新研究成果的结合：论文将其研究与最新的LLM发展(如OpenAI的模型、DeepSeek系列模型等)相关联，显示了其在当前研究前沿的定位。

关键学习点：
- 理解LLM推理过程中计算资源与推理质量之间的权衡关系。
- 认识到简洁推理在保持推理质量的同时可以显著降低计算成本和延迟。
- 了解如何将基础CoT优化方法应用到更复杂的推理框架中。

2. 论文中存在的问题及改进建议：

基于提供的片段，我发现以下潜在问题及改进建议：

- 研究范围限制：论文仅关注原始CoT框架，虽然提到可能适用于long-CoT，但缺乏对这种可迁移性的实证验证。建议进行实验验证简洁推理技术在其他CoT变体(如meta-CoT、long-CoT)中的有效性。

- 评估指标不明确：从片段中无法清楚看出论文使用了哪些具体指标来衡量"简洁性"与"推理质量"之间的平衡。建议建立更全面的评估框架，包括token减少率、推理准确度、推理时间等多维度指标。

- 缺乏在不同复杂度任务上的系统性测试：没有明确说明简洁推理技术在不同难度和领域任务上的表现差异。建议在MATH数据集等不同难度级别的任务上进行系统性测试，分析简洁推理的适用边界。

- 理论基础阐述不足：论文似乎缺乏对为什么简洁推理能够保持推理质量的理论解释。建议深入探讨简洁推理的认知科学基础，可参考Rational Metareasoning相关研究。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：

创新点1：自适应简洁推理框架
开发一个能够根据问题复杂度动态调整推理详细程度的框架。简单问题使用极简推理，复杂问题则保留更多推理步骤。这种方法可以在系统层面优化资源分配，进一步提高整体效率。

创新点2：多模态简洁推理
将简洁推理概念扩展到多模态领域，研究如何在视觉-语言推理任务中减少必要的推理步骤和token数量。例如，在图像描述或视觉问答任务中，探索如何减少中间推理步骤但保持准确性。

创新点3：简洁推理的可解释性研究
探索简洁推理过程中保留的关键步骤与模型内部表征之间的关系。这可以帮助我们理解LLM推理的本质，并为更可解释的AI系统提供见解。

创新点4：简洁推理的知识蒸馏
研究如何将大型模型的简洁推理能力蒸馏到更小的模型中。这可能创造出既高效又精确的小型专家模型，适用于资源受限环境。

4. 为新的研究路径制定的研究方案：

研究方案1：自适应简洁推理框架

研究方法：
- 第一阶段：构建问题复杂度评估模块，能够在推理前或推理早期阶段评估问题难度
  * 收集并标注不同复杂度的问题数据集
  * 训练复杂度分类器，输入为问题，输出为复杂度评分
  * 验证分类器在未见数据上的泛化能力

- 第二阶段：设计自适应推理控制器
  * 基于复杂度评分动态决定推理详细程度
  * 开发推理压缩算法，能根据复杂度保留关键推理步骤
  * 实现自动调节机制，平衡token使用与推理准确性

- 第三阶段：系统集成与评估
  * 将复杂度评估模块与推理控制器集成
  * 在多个基准测试上评估系统性能
  * 与固定简洁度的推理方法进行比较

预期成果：
- 一个能根据问题复杂度自动调整推理详细程度的端到端系统
- 相比固定简洁度方法，在相同平均token使用量下取得更高的整体准确率
- 复杂问题的准确率提升，同时简单问题的处理效率显著提高
- 关于问题复杂度与最优推理详细程度关系的实证发现

研究方案2：多模态简洁推理

研究方法：
- 第一阶段：多模态推理过程分析
  * 收集视觉-语言推理任务的详细推理过程
  * 分析视觉和语言信息在推理中的贡献
  * 识别可简化的冗余步骤和必须保留的关键步骤

- 第二阶段：多模态简洁推理技术开发
  * 设计视觉信息压缩技术，提取关键视觉特征
  * 开发多模态推理简化算法，减少中间推理步骤
  * 构建模态间信息互补机制，利用一个模态的信息减少另一模态的冗余

- 第三阶段：实验验证与优化
  * 在视觉问答、图像推理等任务上测试
  * 比较完整推理与简洁推理在准确性和效率上的差异
  * 针对不同类型的多模态任务优化简洁推理策略

预期成果：
- 多模态简洁推理的理论框架和实现方法
- 在保持准确率的前提下，减少30-50%的多模态推理token使用量
- 多模态任务中视觉和语言信息对推理贡献的新见解
- 适用于资源受限环境的高效多模态推理系统

研究方案3：简洁推理的可解释性研究

研究方法：
- 第一阶段：推理步骤重要性量化
  * 开发评估单个推理步骤对最终结果贡献的方法
  * 通过消融实验识别关键推理步骤
  * 建立推理步骤重要性排序机制

- 第二阶段：内部表征与推理步骤的关联分析
  * 收集模型在完整推理和简洁推理过程中的激活值
  * 分析关键推理步骤与模型内部表征的关系
  * 探索推理简化如何影响模型的注意力机制

- 第三阶段：可解释性框架构建
  * 基于发现开发推理过程可视化工具
  * 构建解释简洁推理决策的方法
  * 设计人类可理解的推理简化规则

预期成果：
- 量化评估推理步骤重要性的方法论
- 揭示LLM内部表征与推理步骤之间的关系
- 更可解释的简洁推理框架，能够说明为什么保留或删除特定推理步骤
- 推理过程可视化工具，帮助理解简洁推理的工作原理
:::

# Others