> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2506.02397 |
> | Code & Data | https://github.com/AgenticIR-Lab/OThink-R1 |
> | Public      | arXiv |
> | Date        | 2025.06.05 |


# Summary Overview

造了一批 Fast / Slow Thinking 的混合微调数据，然后使用了一个增加了 KL 散度的 Loss 进行 SFT。

![image.png](/static/img/4bb7ef46e53f6c870a4605f353dd6019.image.png)

$$\mathcal{L}_{\text{hybrid}} = -\mathbb{E}_{(\mathbf{x},\mathbf{y}) \in \mathcal{D}_{\text{SFT}}} \left[ \log \pi_\theta (y|\mathbf{x}) \right] + \beta_1 \text{KL}(\pi_\theta \| \pi_{\text{LRM}}) + \beta_2 \text{KL}(\pi_\theta \| \pi_{\text{LLM}})$$

# Main Content

**Two challenges:**
1. How to idnetify which scenarios that fast thinking is sufficient?
2. How to empower LRMs to autonomously select the appropriate reasoning mode?

**Three characteristic patterns of redundant reasoning:**
1. Multi-Solution Exploration: Persistent exploration of alternative solutions despite determining a correct answer.
2. Repeated Self-Validation: Excessive re-validation of every intermediate steps in final solutions.
3. Defensive Assumptions: Being overly cautious, take extraneous hypotheses into consideration based on internal knowledge, rather than problem-specific constraints.

![image.png](/static/img/f108c13f899deaf75f40f2c0d4765a94.image.png)

![image.png](/static/img/bbc10491bbfc03f6a15419cee81ff0a5.image.png)

# 🤖

:::info{title=" "}

## 核心创新点

### 动态思维模式切换机制
OThink-R1的最大创新在于提出了一种**内在的快/慢思维模式切换机制**，这是首次将认知科学中的双系统理论成功应用于大型推理模型（LRMs）。该机制能够让模型自主判断问题复杂度，并动态选择适当的推理模式。

### 推理冗余识别方法
论文系统性地分析了LRMs的推理轨迹，并提出了利用识别范式和LLM-Judge将推理轨迹分类为"冗余推理"或"必要推理"的方法。这种分类方法为优化推理效率提供了理论基础。

### 计算效率的显著提升
实验结果表明，OThink-R1在保持准确率的同时，平均减少了约23%的推理冗余。这一成果直接解决了LRMs产生比非推理LLMs多9.78倍token的效率问题。

## 关键学习点

1. **混合范式的必要性**：单一的静态推理模式无法适应不同复杂度的任务，灵活的混合模式是未来发展方向。

2. **认知科学启发的AI设计**：人类认知理论可以有效指导AI系统设计，特别是在推理策略选择方面。

3. **效率与性能的平衡**：通过智能的模式切换，可以在不牺牲性能的前提下大幅提升计算效率。

2. 论文中存在的问题及改进建议：

## 主要问题

### 模式切换标准的模糊性
论文虽然提出了使用LLM-Judge进行分类，但具体的判断标准和阈值设置缺乏详细说明。这可能导致在实际应用中难以复现和调优。

### 缺乏多样化任务评估
实验主要集中在数学和问答任务上，对于其他类型的推理任务（如代码生成、逻辑推理、创意写作等）的适用性未得到充分验证。

### 动态切换的开销分析不足
论文未详细分析模式切换本身带来的计算开销，这在实际部署中可能是一个重要考量因素。

## 改进建议

1. **建立更精确的复杂度评估体系**：开发基于任务特征的多维度复杂度评分系统，包括逻辑深度、知识广度、推理步骤等指标。

2. **扩展评估基准**：在更多样化的任务集上进行评估，包括多模态推理、长文本理解等场景。

3. **引入自适应学习机制**：让模型能够从历史决策中学习，不断优化模式切换的决策边界。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：

## 创新研究方向一：多粒度推理模式
不仅限于快/慢两种模式，而是设计包含超快速（直觉）、快速（模式识别）、中速（结构化推理）、慢速（深度分析）的多层次推理体系。

## 创新研究方向二：协同推理网络
构建多个专门化的推理模块，通过动态路由机制实现模块间的协同工作，不同模块可以并行处理问题的不同方面。

## 创新研究方向三：元推理优化器
开发一个专门的元模型，用于预测和优化主模型的推理路径，实现推理过程的实时优化和资源分配。

## 创新研究方向四：认知负载感知推理
引入认知负载理论，让模型能够评估用户的理解能力和需求，动态调整输出的详细程度和推理深度。

4. 为新的研究路径制定的研究方案：

## 研究方案一：多粒度推理模式系统

### 研究方法
1. **理论建模**：基于认知科学和信息论，建立多粒度推理的数学模型
2. **架构设计**：设计支持四种推理模式的统一神经网络架构
3. **训练策略**：开发分层强化学习算法，让模型学习选择最优推理粒度

## 研究方案二：协同推理网络架构

### 研究方法
1. **模块化设计**：开发专门化的推理模块（逻辑、数学、语言、常识等）
2. **动态路由**：设计基于注意力机制的智能路由系统
3. **协同训练**：开发新的多任务学习范式

## 研究方案三：元推理优化器

### 研究方法
1. **元学习框架**：采用MAML等元学习算法训练优化器
2. **推理轨迹分析**：收集和分析大量推理轨迹数据
3. **在线优化**：开发实时推理路径优化算法

## 研究方案四：认知负载感知推理系统

### 研究方法
1. **用户建模**：构建用户认知能力评估模型
2. **自适应生成**：开发根据用户需求调整输出的算法
3. **交互式优化**：通过用户反馈持续改进

:::

# Others

[arXiv-2025] OThink-R1: Intrinsic Fast/Slow Thinking Mode Switching for Over-Reasoning Mitigation

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2504.01296 |
> | Code & Data | https://github.com/UCSB-NLP-Chang/ThinkPrune |
> | Public      | arXiv |
> | Date        | 2025.05.08 |


# Summary Overview

文章介绍了一个使用强化学习来减少 Reasoning Model 输出 CoT 长度的方法 THINKPRUNE。方法思想比较简单，通过设定 token 限制，任何没有完成的 response 和超过长度限制的都将被丢弃，从而获得的 reward 为0。

![image.png](/static/img/488f809bf97c9cd19ce86220bcbc34d9.image.png)

# Main Content

$$
R(Y, q; L) = 
\begin{cases} 
1 & \text{if an answer can be extracted from clip}(Y, L) \text{ and is correct}, \\
0 & \text{otherwise};
\end{cases}
$$

其实在实际的实现中，只管截断即可。因为长度超出了自然就不会获得最终的答案，reward 自动变成0。

作者在文中还提出了迭代式的训练方法，即 token 限制从 4K变为3K再最后变为2K。


![image.png](/static/img/1fabe5d1f69d7b89c175576d2d434c71.image.png)


![image.png](/static/img/6c564d15dd7a28a83a00462af4c778b0.image.png)


![image.png](/static/img/7dc24e4ea221d63dafdfa5e2a85185e9.image.png)

**Behavior Analaysis**


![image.png](/static/img/e9f651d7e58bfbc9a8e714924f9f7f75.image.png)

The left section contains phrases that signal hesitations or self-corrections, which we find under go a significant drop in frequency after pruning. This indicates that the model would hesitate less.

The middle section contains phrases that signal self-verification, which undergo a slight drop in frequency after pruning. This indicates that the model would sometimes skip the self-verification steps, which may sacrifice a little bit of accuracy, to save the token length. Finally, the right section contains phrases that signal core computation and reasoning, which have a slight increase in frequency despite the overall reduction in length. This indicates that the model would maintain the reasoning process, because that is the core process that contributes to the final solution.

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：

这篇论文的主要创新点在于解决LLM在推理过程中的"过度思考"问题，同时保持强大的推理性能。具体来说：

- 论文提出了一种方法来减少长链思维(long Chain-of-Thought)LLM中的冗余推理，同时保持其推理能力。这解决了现有强化学习训练的LLM虽然推理能力强但推理过程过长的问题。
- 论文表明，通过标准的强化学习训练管道，无需改变奖励函数，就能显著减少过度思考问题。这是一个重要发现，因为它表明可以在不牺牲性能的情况下提高推理效率。
- 研究指出，通过强化学习与可验证奖励(RLVR)训练的LLM(如OpenAI-o3和DeepSeek-R1)虽然展示了更深入的思考行为(如广泛探索和可行性检查)，但这些行为往往导致推理过程变得冗长，增加了推理成本。

从中我们可以学到的关键点是：
- 强化学习在提升LLM推理能力方面的潜力
- 推理效率与推理深度之间的权衡关系
- 如何在不牺牲性能的情况下优化LLM的推理过程

2. 论文中存在的问题及改进建议：

基于提供的上下文，可能存在的问题包括：

- 论文可能缺乏对不同任务类型下方法有效性的全面评估。改进建议：扩大评估范围，包括更多样化的任务类型，特别是那些需要不同深度推理的任务。
- 上下文中没有明确说明如何定量衡量"过度思考"。改进建议：建立更客观的指标来衡量推理过程中的冗余度，例如通过分析推理步骤的信息增益。
- 可能缺乏与其他压缩或优化方法的比较。改进建议：将提出的方法与其他推理优化技术(如知识蒸馏、剪枝等)进行比较，评估相对优势。
- 对于不同规模的模型，该方法的有效性可能有所不同。改进建议：研究方法在不同规模模型上的适用性，并提供相应的调整策略。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：

创新点1：自适应推理深度控制
- 开发一种机制，使LLM能够根据问题复杂度自动调整推理深度，简单问题使用简短推理，复杂问题保留深度思考。

创新点2：多粒度推理框架
- 设计一个分层推理框架，将推理过程分为高层规划和低层执行两个阶段，高层规划决定整体推理策略，低层执行负责具体细节，从而减少冗余思考。

创新点3：推理路径优化
- 开发一种算法来识别和优化LLM推理路径中的冗余或循环模式，类似于程序优化中的死代码消除。

创新点4：混合推理模型
- 结合短链思维和长链思维的优势，训练一个能够在不同模式间切换的混合模型，根据任务需求灵活调整推理深度。

4. 为新的研究路径制定的研究方案：

研究方案1：自适应推理深度控制

研究方法：
- 第一阶段：收集并标注不同复杂度问题的数据集，包括问题特征和最优推理深度
- 第二阶段：训练一个元控制器，学习预测给定问题所需的最佳推理深度
- 第三阶段：将元控制器与主LLM集成，实现动态推理深度调整

研究步骤：
1. 构建包含不同复杂度问题的多样化数据集
2. 为每个问题标注最优推理深度(可通过人工评估或自动化指标)
3. 设计并训练元控制器，输入为问题特征，输出为推荐的推理深度
4. 开发一种机制，使主LLM能够根据元控制器的建议调整推理过程
5. 在多个基准测试上评估系统性能，特别关注推理效率与准确性的平衡

期望研究成果：
- 一个能够根据问题复杂度自动调整推理深度的LLM系统
- 与固定推理深度相比，在推理效率上提高30%以上，同时保持或提高准确率
- 关于问题特征与最优推理深度关系的新见解

研究方案2：多粒度推理框架

研究方法：
- 设计一个两阶段推理框架，包括高层规划和低层执行
- 通过强化学习训练高层规划器，学习如何分解问题并分配资源
- 优化低层执行器，专注于高效完成具体推理步骤

研究步骤：
1. 设计高层规划器架构，负责问题分解和推理策略制定
2. 设计低层执行器架构，负责执行具体推理步骤
3. 开发两个组件间的通信协议和接口
4. 使用强化学习训练高层规划器，奖励函数结合准确性和效率
5. 优化低层执行器，专注于特定推理步骤的高效执行
6. 集成两个组件，形成完整的多粒度推理系统
7. 在复杂推理任务上评估系统性能

期望研究成果：
- 一个新型的分层推理框架，能够更高效地处理复杂推理任务
- 相比传统方法，在保持准确率的同时，推理步骤减少40%以上
- 关于如何最佳分解复杂推理问题的新方法论

研究方案3：推理路径优化

研究方法：
- 开发算法识别LLM推理过程中的冗余模式和循环
- 设计优化技术来压缩或消除这些冗余
- 结合程序分析和机器学习方法来自动化优化过程

研究步骤：
1. 收集大量LLM推理轨迹数据，包括成功和失败的案例
2. 开发算法来分析推理轨迹，识别常见的冗余模式和循环
3. 设计基于规则的优化器，用于消除明显的冗余
4. 训练机器学习模型来预测哪些推理步骤可能是冗余的
5. 将规则和学习型优化器结合，创建混合推理路径优化系统
6. 开发接口，允许优化器在LLM推理过程中实时干预
7. 在多个推理任务上评估系统性能

期望研究成果：
- 一套能够识别和优化LLM推理路径的算法工具包
- 推理效率提升50%以上，同时保持或提高准确率
- 关于LLM推理中常见冗余模式的新见解，可用于改进模型训练
:::

# Others

[arXiv-2025] ThinkPrune: Pruning Long Chain-of-Thought of LLMs via Reinforcement Learning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2503.16419 |
> | Code & Data | https://github.com/Eclipsess/Awesome-Efficient-Reasoning-LLMs |
> | Public      | arXiv |
> | Date        | 2025.03.28 |


# Summary Overview

作者针对于 Reasoning Model 中的 Overthinking 问题撰写了一个综述。将现有的工作分为了三类：model-based efficient reasoning, reasoning output-based efficient reasoning, input prompts-based efficient reasoning.

# Main Content

***Efficient Reasoning*** seeks to optimize reasoning length while preserving reasoning capabilities, offers practical benefits such as reduced computational costs and improved responsiveness for real-world applications. Despite its potential, efficient reasoning remains in the early stages of research.

1. **Model-based efficient reasoning:** Consider optimizing full-length reasoning models into more concise reasoning models or directly traininig efficient reasoning models.
2. **Reasoning output-based efficient reasoning:** Aims to dynamically reduce reasoning steps and length during inference.
3. **Input prompts-based efficient reasoning:** Seek to enhance reasoning efficiency based on input prompt properties such as difficulty or length control.

![image.png](/static/img/c50100b751d164ab38e0ffc92802131b.image.png)

Efficient reasoning in LLMs emphasizes smart and concise reasoning by optimizing the length of generated reasoning sequences and reducing unnecessary thinking steps.

![image.png](/static/img/ec1fbeabd2578fbb5dfe56a218b87fab.image.png)


![image.png](/static/img/1aa212b36ee9eb95d8febc4aec2f6ae3.image.png)

在长期的COT推理模型中，“过度思考现象”是指LLM会产生过度详细或不必要地详细的推理步骤，最终降低其解决问题的效率的情况。

## Model-based Efficient Reasoning

### RL with Length Reward Design

![image.png](/static/img/bf6ba984fd8fe8f6d4bacb52ea0c4c47.image.png)

原则上，length reward 将更高的分数分配给了简短，正确的答案，同时惩罚长度过长或是不正确的答案，从而优化了推理路径的长度。

![image.png](/static/img/902736b68e15c14d75e12766b65f5552.image.png)

### SFT with Variable-Length CoT Data

1. Constructing variable-length CoT reasoning datasets via various methods.
2. Applying SFT with collected data on reasoning models to enable LLMs to learn compact reasoning chains that encapsulate effective knowledge.

![image.png](/static/img/a69f5881888e686fca844ac045420850.image.png)


![image.png](/static/img/b8d04e92d0e0b99e5edc8cdfe7d36635.image.png)

## Reasoning Output-based Efficient Reasoning

> With fewer (or no) explicit textual intermediate steps, several new methods focus on compressing or replacing explicit CoT with more compact latent representations.

![image.png](/static/img/eed7d3160fd50d1f56d2c80926c70d7d.image.png)

研究表明，循环模型隐含地产生潜在的思想，使它们能够通过连续的循环模拟COT推理的多个步骤。

# 🤖

:::info{title=" "}
```
1. 论文的创新之处与独特性：
   - **首次系统化研究高效推理**：论文是第一篇系统性综述高效推理（Efficient Reasoning）领域的工作，明确提出了“高效推理”的重要性，并将相关研究分为三大方向：基于模型的高效推理、基于推理输出的高效推理、以及基于输入提示的高效推理。这种分类方式为后续研究提供了清晰的框架。
   - **揭示“过度思考”现象**：论文深入探讨了“过度思考”（Overthinking）现象，即模型在解决简单问题时生成冗长且冗余的推理路径，从而增加计算成本。通过案例分析，该问题的实际影响得到了量化，凸显了优化推理长度的重要性。
   - **多样化的技术总结**：论文涵盖了强化学习（RL）中的长度奖励设计、变长推理数据的监督微调（SFT）、隐式推理表示的压缩、动态推理范式等多个方向的技术手段，并详细分析了每种方法的优缺点。
   - **提出新的评估框架**：除了传统的准确性指标外，论文引入了推理效率、推理长度、以及“过度思考分数”等新评估指标，为未来的高效推理研究提供了更全面的评估视角。
   - **跨领域应用与讨论**：论文讨论了高效推理在自动驾驶、医疗、嵌入式AI等领域的潜在价值，强调其在实际应用中的经济和社会效益。

2. 论文中存在的问题及改进建议：
   - **对方法的定量比较不够全面**：尽管论文总结了多种高效推理方法，但缺乏对这些方法在统一基准下的定量比较，例如不同方法在推理长度、准确性、计算成本之间的权衡。
     - **改进建议**：未来工作可以设计一个综合性的基准测试框架（如统一数据集和评估指标），对各类方法进行系统性比较。
   - **对小模型推理能力的分析较浅**：论文提到小模型（SLMs）的推理能力，但主要集中于蒸馏和压缩技术，对小模型在不同任务上的实际性能和局限性缺乏深入讨论。
     - **改进建议**：进一步研究小模型在特定任务下的推理能力，并探索如何通过任务适配或轻量化技术提升其性能。
   - **对动态推理范式的实际实现讨论不足**：论文提到动态推理（如长度过滤、基于信心的早停等），但缺乏对这些方法在实际系统中的部署复杂性和性能影响的深入讨论。
     - **改进建议**：研究如何在实际应用中高效实现动态推理范式，包括硬件优化和推理时间的分布式管理。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：基于多模态输入的高效推理**：结合视觉、语言和语音等多模态输入，研究如何通过压缩推理路径，实现跨模态推理任务的高效性。
   - **创新点2：自适应推理路径生成**：开发能够根据任务难度、用户需求动态调整推理长度的模型，提升推理效率的同时保证结果准确性。
   - **创新点3：推理效率与安全性的联合优化**：研究如何在保持推理效率的同时，增强模型的安全性，例如防止生成有害内容或错误推理。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：基于多模态输入的高效推理**
     - **研究方法**：
       1. 构建一个多模态推理数据集，包括视觉问答、图文推理、多模态翻译等任务。
       2. 设计一种多模态推理模型，结合视觉和语言模态，通过隐式表示压缩推理路径。
       3. 利用强化学习设计奖励函数，鼓励模型生成简洁但准确的推理路径。
     - **研究步骤**：
       1. 数据预处理与标注，确保多模态数据的一致性与质量。
       2. 模型训练与微调，测试不同模态融合策略对推理效率的影响。
       3. 实验评估，比较多模态模型与单模态模型在推理效率和准确性上的表现。
     - **期望成果**：提出一种高效的多模态推理框架，在多个跨模态任务中实现推理路径的显著压缩。

   - **研究路径2：自适应推理路径生成**
     - **研究方法**：
       1. 基于模型的不确定性估计，动态调整推理路径的长度。
       2. 利用元学习方法，让模型在训练时学习如何根据任务难度调整推理路径。
     - **研究步骤**：
       1. 构建一个包含不同难度级别问题的数据集。
       2. 设计一个动态推理模块，结合不确定性估计和任务特征进行路径调整。
       3. 通过实验验证动态推理模块在不同任务上的适应性和性能。
     - **期望成果**：开发出一种自适应推理模型，能够在保证准确性的前提下显著降低推理长度。

   - **研究路径3：推理效率与安全性的联合优化**
     - **研究方法**：
       1. 在推理过程中引入安全性评估模块，实时检测可能的错误或有害推理。
       2. 结合强化学习和监督学习，优化模型在效率和安全性之间的平衡。
     - **研究步骤**：
       1. 构建一个包含潜在有害推理样本的训练数据集。
       2. 设计一个安全性评估指标，并将其加入推理奖励函数中。
       3. 通过实验比较不同模型在推理效率和安全性上的表现。
     - **期望成果**：提出一种高效且安全的推理模型，能够在实际应用场景中显著降低推理成本，同时避免生成错误或有害内容。
```
:::

# Others

[arXiv-2025] Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models_

linux服务器配置

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2501.12599 |
> | Code & Data | / |
> | Public      | arXiv |
> | Date        | 2025.03.19 |


# Summary Overview

Kimi k1.5 技术报告，主要聚焦于其中使用的 Reinforcement Learning 技术。

# Main Content

扩展强化学习（RL）为人工智能的持续改进开辟了一条新的轴线，大型语言模型（LLM）有望通过学习探索奖励来扩展其训练数据。

![image.png](/static/img/2c45cc54e9b4318e7b649bfb4a29e611.image.png)

![image.png](/static/img/90e67c84c8cc41ef3ade1af794d9bd53.image.png)

Using RL with LLMs, the models learns to explore with rewards and thus is not limited to a pre-existing static dataset.

**Key ingredients:**
- Long context scaling: 观察到持续的性能提升伴随着增长的 context length.
- Improved policy optimization: We derive a formulation of RL with long-CoT and employ a variant of online mirror descent for robust policy optimization. This algorithm is further improved by our effective sampling strategy, length penalty, and optimization of the data recipe.

Moreover, we present effective long2short methods that use long-CoT techniques to improve short-CoT models. Specifically, our approaches include applying length penalty with long-CoT activations and model merging.

**Stages**: pretraining, vanilla supervised fine-tuning (SFT), long-CoT supervised fine-tuning, and reinforcement learning (RL).

**Three key properties** define a high-quality RL prompt set:
- Diverse Coverage
- Balanced Difficulty: The prompt set should include a well-distributed range of easy, moderate, and difficult questions to facilitate gradual learning and prevent overfitting to specific complexity levels.
- Accurate Evaluability: Prompts should allow objective and reliable assessment by verifiers, ensuring that model performance is measured based on correct reasoning rather than superficial patterns or random guess.

经验观察表明，一些复杂的推理问题可能有相对简单和容易猜测的答案，从而导致假阳性验证--即模型通过错误的推理过程得出正确答案。为解决这一问题，我们排除了容易出现此类错误的问题，如多项选择题、真/假题和基于证明的问题。此外，对于一般的答题任务，我们提出了一种简单而有效的方法来识别和删除易被破解的提示。具体来说，我们会提示模型猜测可能的答案，而无需任何 CoT 推理步骤。如果模型在 N 次尝试内预测出正确答案，则认为该提示太容易被破解，并将其删除。我们发现，设置 N = 8 可以删除大部分易被破解的提示。

**Human-like reasoning:**
- **planning**: the model systematically outlines steps before execution;
- **evaluation**: critical assessment of intermediate steps;
- **reflection**: enable the modle to reconsider and refine its approach;
- **exploration**: encourage consideration of alternative solutions;

**Reinforcement Learning**

When solvinig problem $x$, thoughts $z_t\sim\pi_\theta(\cdot|x,z_1,\cdots,z_{t-1})$ are auto-regressively sampled, followed by the final answer $y\sim\pi_\theta(\cdot|x,z_1,\cdots,z_{t-1})$ are auto-regressively sampled, followed by the final answer $y\sim\pi_\theta$ to denote this sampling procedure.

Rather than explicitly constructing a search tree and implementing a planning algorithm, we could potentially train a model to approximate this process.

**Reward**
- For verifiable problems, the reward is directly determined by predefined criteria or rules.
- For problems with free-form ground truth, we train a reward model $r(x,y,y^*)$ that predicts if the answer matches the ground truth.

Optimize the policy:

$$
\max_{\theta} \mathbb{E}_{(x,y^*) \sim \mathcal{D}, (y,z) \sim \pi_{\theta}} [r(x, y, y^*)] \,.
$$

**Policy Optimization**

$$
\max_{\theta} \mathbb{E}_{(x,y^*) \sim \mathcal{D}} \left[ \mathbb{E}_{(y,z) \sim \pi_{\theta}} \left[ r(x,y,y^*) \right] - \tau \mathrm{KL}(\pi_{\theta}(x) \| \pi_{\theta_{i}}(x)) \right],
$$

surrogate loss:

$$
L(\theta) = \mathbb{E}_{(x,y^*) \sim \mathcal{D}} \left[ \mathbb{E}_{(y,z) \sim \pi_{\theta_i}} \left[ \left( r(x,y,y^*) - \tau \log Z - \tau \log \frac{\pi_\theta(y,z|x)}{\pi_{\theta_i}(y,z|x)} \right)^2 \right] \right]
$$

gradient

$$
\frac{1}{k} \sum_{j=1}^{k} \left( \nabla_\theta \log \pi_\theta(y_j, z_j|x)(r(x, y_j, y^*) - \bar{r}) - \frac{\tau}{2} \nabla_\theta \left( \log \frac{\pi_\theta(y_j, z_j|x)}{\pi_{\theta_i}(y_j, z_j|x)} \right)^2 \right)
$$

**Length Penalty**

$$
\text{len\_reward}(i) = 
\begin{cases} 
\lambda & \text{If } r(x, y_i, y^*) = 1 \\
\min(0, \lambda) & \text{If } r(x, y_i, y^*) = 0
\end{cases}
, \quad \text{where } \lambda = 0.5 - \frac{\text{len}(i) - \text{min\_len}}{\text{max\_len} - \text{min\_len}}.
$$

This length-based reward is then added to the original reward with a weighting parameter.

In our preliminary experiments, length penalty may slow down training during the initial phases. To alleviate this issue, we propose to gradually warm up the length penalty during training. Sepcifically, we employ standard policy optimization without length penalty,followed by a constant lenght penalty for the rest of training.

**Sampling Strategies**

First, the RL training data we collect naturally come with different difficulty labels. Second, because the RL training process samples the same problem multiple times, we can also track the success rate for each individual problem as a metric of difficulty.

- Curriculum Sampling: We start by training on easier tasks and gradually progress to more challenging ones.
- Prioritized Sampling: We track the success rate $s_i$ for each problem $i$ and sample problems proportional to $1-s_i$, so that problems with lower success rates receive higher sampling probabilities. This directs the model's efforts toward its weakest areas, leading to faster learning and better overall performance.

**Long2short: Context Compression for Short-CoT Models**

Though long-CoT models achieve strong performance, it consumes more test-time tokens compared to standard short-CoT LLMs. However, it is possible to transfer the thinking priors from long-CoT models to short-CoT models so that performance can be improved even with limited test-time token budgets.

- Model Merging: we merge the two models by simply averaging their weights.
- Shortest Rejection Sampling
- DPO
- Long2short RL

**RL Infrastructure**
![image.png](/static/img/79859ac3837b8b5031b5cf6c23a86992.image.png)

Rollout Phase & Training Phase: During the rollout phase, rollout workers, coordinated by a central master, generate rollout trajectories by interacting with the model, producing sequences of responses to various inputs. In the subsequent training phase, trainer workers access these experiences to update the model's weights. This cyclical process allows the model to continuously learn from its actions, adjusting its strategies over time to enhance performance.

Partial Rollouts for Long CoT RL: Partial rollouts is a key technique that effectively addresses the challenge of handling long-CoT features by managing the rollouts of both long and short trajectories. It ensures that no single lengthy trajectory monopolizes the system's resources. Moreover, since the rollout workers operate asynchronously, when some are engaged with long trajectories, others can independently process new, shorter rollout tasks. The implementation of partial rollouts also offers repeat detection. The system identifies repeated sequences in the generated content and terminates them early, reducing unnecessary computation while maintaining output quality. Detected repetitions can be assigned additional penalties, effectively discouraging redundant content generation in the prompt set.

**Hybird Deployment of Training and Inference**

![image.png](/static/img/6c976a1f66d398ac436846eea17d1e98.image.png)

- Training Phase: At the outset, Megatron and vLLM are executed within separate containers, encapsulated by a shim process known as checkpoint-engine. Megatron commences the training procedure. After the training is completed, Megatron offloads the GPU memory and prepares to transfer current weights to vLLM.
- Inference Phase: Following Megatron's offloading, vLLM starts with dummy model weights and updates them with the latest ones transferred from Megatron via Mooncake. Upon completion of the rollout, the checkpoint-engine halts all vLLM processes.
- Subsequent Training Phase: Once the memory allocated to vLLM is released, Megatron onloads the memory and initiates another round of training.

**Results**

![image.png](/static/img/9e23205a692b3e3e21107ebc47a575dd.image.png)

![image.png](/static/img/9b2edf8b6c2eea1432c0c2824a61d331.image.png)

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **长上下文扩展与RL优化的结合**：论文提出了一种将长上下文扩展（128k tokens）与强化学习（RL）结合的训练方法。这种方法通过部分回溯采样（Partial Rollouts）大幅提高了训练效率，同时展示了长上下文对复杂推理任务的显著提升效果。这种方法避免了传统强化学习中对复杂规划算法（如蒙特卡洛树搜索）的依赖，简化了框架设计。
   - **多模态数据融合与推理能力提升**：Kimi k1.5 模型通过多模态数据（文本与视觉）的联合训练，在跨模态推理任务（如 MathVista 和 MMMU）上达到了最先进的性能。其多模态数据策略涵盖了图像-文本交错数据、OCR数据和知识型数据，特别是对视觉推理能力的强化值得关注。
   - **长到短（Long2Short）方法**：论文提出了长到短的迁移方法，通过将长链式推理（Long-CoT）的思维过程压缩到短链式推理（Short-CoT）中，显著提高了短推理模型的性能，同时保持了较高的推理效率。这种方法包括模型融合、最短拒绝采样、DPO（直接偏好优化）和RL微调等多种技术。
   - **简化的强化学习优化框架**：论文采用了一种基于在线镜像下降（Online Mirror Descent）的简化强化学习优化方法，并结合长度惩罚策略，有效控制了模型的“过度思考”现象，优化了推理效率。

2. 论文中存在的问题及改进建议：
   - **长上下文的硬件依赖性**：长上下文扩展（128k tokens）对硬件资源的需求极高，尤其是在推理阶段可能导致实际应用的受限。改进建议：探索更高效的上下文压缩方法，例如基于注意力稀疏化的技术，或开发更轻量级的推理框架。
   - **多模态数据的质量控制与偏差**：虽然论文强调了多模态数据的质量控制，但具体的偏差消除策略（如视觉数据中语言偏差的处理）未详尽描述。改进建议：引入更多自动化的偏差检测与修正机制，例如通过对不同模态的特征分布进行对比分析，确保模型在多模态任务中的泛化能力。
   - **长到短方法的泛化性不足**：长到短（Long2Short）方法在短链式推理任务上表现优异，但其对更复杂的跨模态任务（如视觉-文本推理）的泛化性尚未充分验证。改进建议：在实验中增加更多高复杂度的跨模态任务，验证长到短方法的适用范围。
   - **奖励模型的透明性和鲁棒性**：论文中提到的奖励模型在某些任务中可能存在主观性和不一致性。改进建议：开发更透明的奖励模型评估标准，例如通过引入多种验证机制（如多样性评分和一致性评分）提高奖励模型的鲁棒性。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：基于稀疏注意力的长上下文高效推理框架**
     - 研究背景：长上下文扩展虽然提升了推理能力，但对计算资源的需求极高。可以引入稀疏注意力机制减少计算开销。
   - **创新点2：多模态联合推理中的模态对齐优化**
     - 研究背景：多模态数据中存在模态间信息不一致的问题，例如视觉和文本信息的语义不匹配。可以探索更高效的模态对齐方法。
   - **创新点3：动态上下文压缩与推理优化**
     - 研究背景：长上下文模型在推理时可能包含大量冗余信息。可以研究动态上下文压缩方法，根据任务需求实时调整上下文长度。

4. 为新的研究路径制定的研究方案：
   - **研究方案1：基于稀疏注意力的长上下文高效推理框架**
     - 方法：设计一种基于稀疏注意力的Transformer结构，通过局部注意力窗口和全局关键节点的结合，减少计算复杂度。
     - 步骤：
       1. 设计稀疏注意力机制，确保在长上下文中捕捉关键信息。
       2. 在现有的长上下文任务上（如MATH-500和AIME 2024）进行实验，验证性能和效率。
       3. 比较稀疏注意力模型与全局注意力模型的性能差异，特别是在推理时间和准确率上的表现。
     - 期望成果：在保持推理准确率的前提下，将计算开销降低50%以上，为长上下文模型的实际应用提供更可行的解决方案。

   - **研究方案2：多模态联合推理中的模态对齐优化**
     - 方法：引入一种基于对比学习的模态对齐方法，通过对齐视觉和文本特征空间，提升多模态推理能力。
     - 步骤：
       1. 构建一个大规模的多模态对齐数据集，确保视觉和文本信息的语义一致性。
       2. 设计对比学习损失函数，使视觉和文本特征在共享空间中最大程度对齐。
       3. 在多模态基准（如MathVista和MMMU）上进行评估，验证对齐方法的有效性。
     - 期望成果：在多模态任务上提升5%以上的准确率，同时增强模型对跨模态任务的泛化能力。

   - **研究方案3：动态上下文压缩与推理优化**
     - 方法：开发一种动态上下文压缩算法，根据任务复杂度和上下文相关性实时调整输入长度。
     - 步骤：
       1. 设计上下文压缩模块，结合注意力权重和语义相似度选择关键上下文片段。
       2. 在长上下文任务上进行实验，分析动态压缩对推理效率和准确率的影响。
       3. 将动态压缩算法与长到短方法结合，进一步提升短链式推理任务的性能。
     - 期望成果：在不显著降低准确率的情况下，将推理时间缩短30%以上，并提高短链式推理任务的整体效率。
:::

# Others