> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://openreview.net/pdf?id=qZMLrURRr9 |
> | Code & Data | / |
> | Public      | ICML |
> | Date        | 2025.06.26 |



# Main Content

Eureka 在 ERL 中应用了协同优化的想法，用于奖励生成：EA 将 LLM 生成的奖励函数进行群体进化，而 RL 则用于训练策略来评估最佳 reward function。但是 Eureka 具有两个限制：
1. Greedy Exploitation: Eureka 仅根据每次迭代的最佳 reward function 而改善，这可能会导致奖励函数不是最优的结果。
2. Suboptimal Parameter Assignment: Reward functions 通常包含许多参数，例如权重或系数。Eureka 借助于 LLM 直接进行设置，这通常是次优的。这样可能导致无法提供精确的知道。

作者为了解决上述问题，进一步扩展 ERL，提出了 R*

![image.png](/static/img/c9de2d2e856cee0ad56a79aa495aacf1.image.png)

Two Stages: the initialization stage and the evolutionary improvement stage.

The initialization stage consists of two key steps: (1) Initializing the reward function population, which provides the foundation for subsequent reward function design; (2) Initializing the critic population, wich is used to collect trajectory segment pairs with high-quality labels.

1. **Rward Population Initialization.** R* leverages LLM to generate the initial reward function population $\mathbb{P}_{\text{Reward}}$ by providing the task description $L$ and environment code infomation $C$. To facilitate more efficient structure search in subsequent stages, we design the prompt $P_{\text{reward}}$ to guide the LLM in generating reward functions composed of multiple reward modules.
2. **Critic Population Initialization.** In addition to the reward population, R* also needs to generate a critic population $\mathbb{P}_{\text{Critic}}$, with each individual represented as a code function. These critics are used to compare trajectories and provide step-wise comparison labels. Similar to the reward population, R* takes task descriptoins $P$, environment code $C$, and the prompt $P_{\text{critic}}$ as inputs to generate the critic population $\mathbb{P}_{\text{Critic}}$.

After completing the initialization stage, we proceed to the reward function evolutionary improvement stage, which consists of three steps: population evaluation, evolution, and parameter optimization.

1. **Reward Population Evaluation.** For each reward function $F_i$ in the reward population $\mathbb{P}_{\text{reward}}$, we train PPO in parallel to solve the task using Isaac Gym. During training, we record the success rates of the learned policies, along with other relevant statistics, such as the mean, maximum, and minimum values of each reward module. The reward functions, along with their fitness values, are then stored in the reward function archive $D_F$. The success rate of the policy serves as the reward function fitness.
2. **Reward Population Evolution.** We select the reward function $F_\text{best}$ with the highest fitness, along with its associated learning information, to serve as feedback. Through the LLM reflection mechanism, we perform evolution operations such as modifying, deleting or adding modules to improve the reward function, thereby creating a new improved reward function. To fully exploit the high-quality reward functions discovered, we select parent reward functions from the reward function archive $D_F$ based on their fitness. Module-level crossover is then applied to these parents to generate new individuals, facilitating further exploration of the reward design space.
3. **Reward Parameter Optimization.** Using the critic population $\mathbb{P}_{\text{Critic}}$, we extract trajectory segments and apply comparision labels to the segments, creating a labeled trajectory buffer $D_T$. The reward functions are then optimized based on $D_T$, allowing them to better evaluate segment quality and guide policy learning.


![image.png](/static/img/8ee18a79b161e9f82aa6559c5e74ca53.image.png)

# Experiments

![image.png](/static/img/07948a801015847a9de91ee9836d3e20.image.png)

![image.png](/static/img/5dcce6e8b122f924ca9ff5ceaf558ea0.image.png)
# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **创新点1：奖励函数设计的分解与模块化方法**  
     本文提出了一种名为R*的框架，将奖励函数设计分解为两个独立的阶段：奖励结构演化和参数对齐优化。通过模块化的奖励函数设计，结合模块级别的交叉操作和LLM（大型语言模型）的反思机制，极大提升了奖励函数的搜索效率和学习稳定性。这种模块化设计思路为复杂任务的奖励函数优化提供了新的视角。
   - **创新点2：基于LLM的奖励函数生成与优化**  
     本文首次系统性地将LLM引入奖励函数生成和优化流程中，利用其强大的编码能力和领域知识生成高质量的奖励函数，并通过LLM辅助的模块改进、删除和添加操作实现奖励函数的持续优化。
   - **创新点3：基于投票机制的轨迹分段标注**  
     提出了基于批评函数的逐步投票机制，用于对轨迹分段进行高置信度的标注。通过结合多个批评函数的结果，解决了单一函数标注质量不高的问题，为奖励函数参数优化提供了可靠的训练数据。
   - **创新点4：实验证明R*超越人类设计的奖励函数**  
     在8个机器人控制任务中的实验结果表明，R*生成的奖励函数在性能和收敛效率上均优于现有强基线方法（如Eureka）和人类设计的奖励函数，这证明了其在复杂任务中的实际应用潜力。

2. 论文中存在的问题及改进建议：
   - **问题1：对LLM的依赖性较高**  
     R*框架中大量依赖LLM的生成能力，包括奖励函数和批评函数的生成。然而，LLM生成的代码可能存在语法或逻辑错误，尽管文章提到通过交叉生成补充失败的个体，但这种方法可能增加计算成本。  
     **改进建议**：引入自动化代码验证和修复机制，例如通过静态代码分析或小规模环境测试提前发现并修复错误，降低LLM生成代码的失败率。
   - **问题2：模块化交叉操作的随机性较强**  
     虽然模块级别的交叉操作在探索奖励函数设计空间时表现出一定的有效性，但其随机性可能导致生成的个体质量不稳定。  
     **改进建议**：在交叉操作中引入启发式策略，例如基于模块性能的权重分配，优先选择高质量模块进行交叉，从而提高新个体的整体质量。
   - **问题3：对真实世界任务的适应性不足**  
     本文的实验主要基于模拟环境，假设低层信息（如距离、速度）完全可用。但在真实世界任务中，通常只能获取高层视觉信息，这限制了方法的通用性。  
     **改进建议**：探索将视觉语言模型（VLM）与R*框架结合，利用视觉特征提取方法（如YOLO）从图像中提取关键变量，进一步扩展R*在真实场景中的适用性。
   - **问题4：缺乏对生成奖励函数的可解释性分析**  
     尽管R*生成的奖励函数在性能上优于人类设计的奖励函数，但未深入分析这些奖励函数的结构特性（如模块的贡献度）。  
     **改进建议**：引入奖励函数的可解释性分析框架，例如通过模块重要性分析或特征归因方法，揭示奖励函数中关键模块的作用。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：引入多模态信息的奖励函数设计框架**  
     将视觉和语言模型（如VLM和LLM）结合，用于处理仅有视觉观测的复杂任务。例如，通过视觉模型提取关键物体的位置信息，再结合LLM生成奖励函数。
   - **创新点2：自适应模块化奖励函数生成方法**  
     开发一种动态模块化生成方法，根据任务需求实时调整奖励模块的数量和类型，避免冗余模块对学习效率的影响。
   - **创新点3：奖励函数的可解释性增强机制**  
     建立奖励函数的可解释性分析框架，量化每个模块对整体性能的贡献，并通过可视化工具展示奖励函数的优化过程。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：引入多模态信息的奖励函数设计框架**  
     **研究方法**：  
       1) 使用视觉模型（如YOLO或CLIP）提取任务场景中的关键特征（如物体位置、目标距离）。  
       2) 将提取的特征转化为结构化变量，并输入LLM生成奖励函数。  
       3) 在模拟环境和真实机器人任务中验证生成奖励函数的有效性。  
     **研究步骤**：  
       - 数据准备：收集包含视觉信息的机器人任务数据集。  
       - 模型训练：训练视觉模型以提取任务关键特征。  
       - 框架设计：将视觉模型与R*框架结合，实现奖励函数的多模态生成。  
       - 性能评估：在多种任务中比较多模态奖励函数与单模态奖励函数的性能差异。  
     **期望成果**：  
       - 提出一种适用于视觉观测任务的奖励函数生成框架。  
       - 实验证明多模态信息能够提高奖励函数的质量和学习效率。

   - **研究路径2：自适应模块化奖励函数生成方法**  
     **研究方法**：  
       1) 基于任务描述和环境反馈，动态调整奖励模块的数量和类型。  
       2) 使用强化学习或元学习方法优化模块选择策略。  
     **研究步骤**：  
       - 模块生成：设计一组通用的奖励模块库。  
       - 策略优化：训练一个元学习模型，根据任务反馈选择最优的模块组合。  
       - 实验验证：在多种任务中测试自适应模块化方法的性能。  
     **期望成果**：  
       - 提出一种动态模块化奖励函数生成方法，显著提高复杂任务的学习效率。  
       - 实现模块选择的自动化，减少对人类专家的依赖。

   - **研究路径3：奖励函数的可解释性增强机制**  
     **研究方法**：  
       1) 使用特征归因方法（如Shapley值或集成梯度）分析奖励函数中各模块的贡献度。  
       2) 设计可视化工具展示奖励函数优化过程和模块的重要性。  
     **研究步骤**：  
       - 分析方法开发：选择适合奖励函数的归因方法，并开发分析工具。  
       - 可视化设计：设计交互式界面，展示奖励函数的结构和优化过程。  
       - 实验验证：通过用户研究评估可解释性工具对开发者的帮助。  
     **期望成果**：  
       - 提出一种奖励函数的可解释性分析框架，帮助开发者理解和优化奖励函数。  
       - 提供可视化工具，提升奖励函数设计的透明性和可信度。

:::

# Others

[ICML-2025] R*: Efficient Reward Design via Reward Structure Evolution and Parameter Alignment Optimization with Large Language Models

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2505.13417 |
> | Code & Data | https://github.com/THU-KEG/AdaptThink |
> | Public      | arXiv |
> | Date        | 2025.06.20 |


# Summary Overview

作者认为对于简单的问题，没有必要使用 thinking 模式，而是直接进行回答也能获得很高的准确率。从效率上来说，模型应该有选择的使用 thinking，而不是所有的都开。通过强化学习训练模型，使得模型能够在推理时，自动地选择是否使用 thinking。

*AdaptThink*, a novel RL algorithm to teach reasoning models to choose the optimal thinking mode adaptively based on problem difficulty.

1. a constrained optimization objective that encourages the model to choose *NoThinking* while maintaining the overall performance;
2. an importance sampling strategy that balances *Thinking* samples during on-policy training, thereby enabling cold start and allowing the model to explore and exploit both thinking modes throughout the training process.

![image.png](/static/img/0dfb2411dced00d77d9029b6dc49bdc1.image.png)

# Main Content

*Can the reasoning model learn to select Thinking or NoThinking mode adaptively based on the difficulty of the input problem, thereby achieving more efficient reasoning without sacrificing or even improving performance?*

![image.png](/static/img/59189518bafb33c06b2839abf40282f7.image.png)

**Constrained Optimization Objective**

an ideal selection policy should prefer to choose *NoThinking* as long as the overall performance is not diminished. Let $\pi_{\theta_\text{ref}}$ denote the reference model, which is the initial $\pi_\theta$ and remains unchanged during training.

$$
\begin{align*}
\max &\mathbb{E}_{x \sim D, y \sim \pi_\theta(\cdot|x)} \mathbb{1}(y_1 = \langle/\text{think}\rangle)\\
s.t. \; &\mathbb{E}_{x \sim D, y \sim \pi_\theta(\cdot|x)} R(x, y) \geq 
\mathbb{E}_{x \sim D, y' \sim \pi_{\theta_{\text{ref}}}(\cdot|x)} R(x, y').
\end{align*}
$$

To solve this constrained optimization problem, we incorporate the constraint into the objective as a penalty term, with a penalty weight $\lambda\geq0$:

$$
\max\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_\theta(\cdot|x),y^\prime\sim\pi_{\text{ref}}(\cdot|x)}\mathbb{1}(y_1 = \langle/\text{think}\rangle)+\lambda(R(x,y)-R(x,y^\prime))
$$

By dividing the both side by $\lambda$, letting $\delta=\frac{1}{\lambda}$, and reorganizing the terms about $\pi_{\theta{\text{ref}}}$, we have:

$$
\max\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_{\theta}(\cdot|x)}\mathbb{1}(y_1 = \langle/\text{think}\rangle)\cdot\delta+R(x,y)-\mathbb{E}_{y^\prime\sim\pi_{\theta_{\text{ref}}(\cdot|x)}}R(x,y^\prime)
$$

In pracitice, $\mathbb{E}_{y^\prime\sim\pi_{\theta_{\text{ref}}}(\cdot|x)}R(x,y^\prime)$ can be approximated by pre-sampling before training. Specifically, we sample $K$ responses from $\pi_{\theta_{\text{ref}}}(\cdot|x)$ for each $x$, and calculate their mean reward:

$$
\bar{R}_\text{ref}(x)=\frac{1}{K}\sum_{i=1}^KR(x,y^{\prime i}),y^{\prime i}\sim\pi_{\theta_{\text{ref}}}(\cdot|x)
$$

Then the optimization objective becomes:

$$
\max\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_{\theta}(\cdot|x)}\mathbb{1}(y_1 = \langle/\text{think}\rangle)\cdot\delta+R(x,y)-\bar{R}_\text{ref}(x)
$$

Since $\mathbb{1}(y_1 = \langle/\text{think}\rangle)$ and $R(x,y)$ are not differentiable, we employ policy gradient method to solve this optimization. Specifically, let $\pi_{\theta_\text{old}}$ be a distribution equal to $\pi_\theta$ without gradient update, and define the advantage function: $A(x,y)=\mathbb{1}(y_1 = \langle/\text{think}\rangle)\cdot\delta+R(x,y)-\bar{R}_\text{ref}(x)$. Then the objective can be converted into a PPO-style loss without KL penalty:

$$
\mathcal{L}(\theta)=-\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_{\theta_{\text{old}}}(\cdot|x)}[\min(\frac{\pi_\theta(y|x)}{\pi_{\theta_{\text{old}}}(y|x)}A(x,y),\text{clip}(\frac{\pi_\theta(y|x)}{\pi_{\theta_{\text{old}}}(y|x)},1-\epsilon,1+\epsilon)A(x,y))]
$$

To solve cold-start challenge, we employ the technique of importance sampling. Specifically, we define a new distribution $\pi_{\text{IS}}(\cdot|x)$:

$$
\pi_{\text{IS}}(y_t = a|x, y_{<t}) = \begin{cases}
0.5, & \text{if } t = 1, a = \langle/\text{think}\rangle; \\
0.5, & \text{if } t = 1, a = w_{\text{start}}; \\
\pi_{\theta_{\text{old}}}(y_t = a|x, y_{<t}), & \text{if } t > 1.
\end{cases}
$$

During training, we sample responses $\{y^i\}_{i=1}^K$ from $\pi_{\text{IS}}(\cdot|x)$ instead of $\pi_{\theta_{\text{old}}}(\cdot|x)$, so that half of the samples in a batch are in *Thinking* mode and the other half are *NoThinking*.

![image.png](/static/img/be705e91a0af418fe26e185e1347afc2.image.png)

![image.png](/static/img/0223b9668320f8b621454db1277a86a5.image.png)

![image.png](/static/img/e042fd86784184319da1c8118e410ba4.image.png)

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **创新之处**：
     1. **适应性思维模式选择**：论文提出了AdaptThink，这是一种基于强化学习的算法，能够根据问题难度动态选择“思考模式（Thinking）”或“直接生成模式（NoThinking）”。这种方法显著优化了推理效率，同时在性能上也有所提升。
     2. **约束优化目标**：AdaptThink在优化目标中引入了约束条件，鼓励模型在不降低整体性能的情况下优先选择NoThinking模式。这种方法有效减少了推理成本。
     3. **重要性采样策略**：通过在训练过程中平衡Thinking和NoThinking样本的采样，解决了冷启动问题，并为模型提供了更全面的探索和利用空间。
     4. **显著的实验结果**：在多个数学数据集（如GSM8K、MATH500和AIME2024）上的实验表明，AdaptThink不仅减少了推理成本（平均减少53%），还提升了准确率（平均提升2.4%）。

   - **独特性**：
     - 论文首次系统性地研究了思维模式选择与问题难度的关系，明确指出简单问题中NoThinking模式的效率和性能优势。
     - 提出的算法不仅适用于数学问题，还在跨领域任务（如MMLU）中展示了良好的泛化能力。

   - **关键学习点**：
     1. 在推理任务中，问题难度是决定推理模式的重要因素。
     2. 通过强化学习和重要性采样，可以在不同推理模式之间实现高效的动态切换。
     3. 对于简单问题，减少冗余推理步骤有助于显著提升模型效率。

2. 论文中存在的问题及改进建议：
   - **问题1：对复杂问题的处理仍依赖传统Thinking模式**  
     尽管论文提出了NoThinking模式的优势，但在复杂问题中，模型仍然依赖Thinking模式，未能完全优化推理过程。
     - **改进建议**：探索更高效的“简化思维（Simplified Thinking）”模式，即在Thinking模式中通过剪枝或动态调整推理深度来优化复杂问题的推理效率。

   - **问题2：适用性验证范围有限**  
     论文的实验主要集中在数学数据集上，尽管在MMLU中展示了一定的泛化能力，但对其他领域（如医疗、法律）的适用性尚未验证。
     - **改进建议**：扩展实验范围，将AdaptThink应用于更多领域的任务，如多模态推理、开放域问答等，以验证其通用性。

   - **问题3：NoThinking模式的隐性思维问题**  
     实验中提到，NoThinking模式可能激活隐性思维特征，导致生成的结果仍包含部分冗余推理。
     - **改进建议**：在强化学习训练中引入显式的奖励约束，检测并惩罚隐性思维特征，从而进一步优化NoThinking模式的效率。

   - **问题4：对问题难度的量化缺乏细化**  
     论文中对问题难度的定义较为粗略，主要依赖数据集的预定义分类。
     - **改进建议**：设计一种动态的难度评估机制，结合问题的语义复杂度、结构特征和历史解答记录，为每个问题分配更精确的难度评分。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：动态推理深度控制**  
     在Thinking模式中引入动态推理深度控制机制，根据问题难度调整推理链的长度，从而进一步优化复杂问题的推理效率。
   - **创新点2：多模态适应性推理**  
     将AdaptThink扩展到多模态任务中（如视觉-语言推理），研究不同模态下思维模式选择的适应性。
   - **创新点3：基于用户需求的个性化推理模式选择**  
     结合用户的时间需求和偏好，动态调整推理模式，以实现更好的用户体验。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：动态推理深度控制**
     - **研究方法**：
       1. 在Thinking模式中引入推理深度控制模块，动态监控生成的推理链长度。
       2. 基于问题的难度评分和当前推理步骤的置信度，动态决定是否继续推理或终止并生成答案。
     - **研究步骤**：
       1. 构建包含不同复杂度问题的数据集，并标注每个问题的最优推理链长度。
       2. 设计强化学习算法，将推理深度作为一个可控变量，优化模型的推理效率和准确率。
       3. 在数学和常识问答任务上验证方法的有效性。
     - **期望研究成果**：
       1. 显著减少复杂问题的推理时间。
       2. 提高模型在复杂问题上的准确率，同时保持推理链的简洁性。

   - **研究路径2：多模态适应性推理**
     - **研究方法**：
       1. 将AdaptThink的思维模式选择机制扩展到多模态任务中，例如视觉-语言推理。
       2. 在多模态任务中定义不同模态的推理难度，并设计联合优化目标。
     - **研究步骤**：
       1. 构建多模态推理数据集（如视觉问答、视频字幕生成）。
       2. 在多模态Transformer架构中集成AdaptThink算法，研究不同模态下思维模式的选择策略。
       3. 评估模型在多模态任务中的效率和性能。
     - **期望研究成果**：
       1. 提出一种适用于多模态任务的高效推理框架。
       2. 在视觉-语言推理任务中实现更高的效率和准确率。

   - **研究路径3：基于用户需求的个性化推理模式选择**
     - **研究方法**：
       1. 引入用户偏好建模模块，根据用户的时间需求（如快速响应或高质量推理）动态调整推理模式。
       2. 在强化学习中加入用户偏好奖励函数。
     - **研究步骤**：
       1. 收集用户在不同任务中的偏好数据，构建用户需求数据集。
       2. 设计强化学习算法，结合用户偏好和问题难度，优化推理模式选择。
       3. 在对话系统和实时问答场景中进行实验验证。
     - **期望研究成果**：
       1. 实现基于用户需求的个性化推理，显著提升用户体验。
       2. 提供一种通用的用户偏好建模方法，可扩展到其他交互式AI任务。

:::

# Others

[arXiv-2025] AdaptThink: Reasoning Models Can Learn When to Think

# Raise the Ceiling: Clip-Higher

> Cite from: DAPO: An Open-Source LLM Reinforcement Learning System at Scale



In our initial experiments using naive PPO or GRPO, we observed the entropy collapse phenomenon: the entropy of the policy decreases quickly as training progresses. The sampled responses of certain groups tend to be nearly identical. This limited exploration and early deterministic policy, which can hinder the scaling process.

We propose the **Clip-Higher** strategy to address this issue. Clipping over the importance sampling ratio is introduced in Clipped Proximal Policy Optimization (PPO-Clip) to restrict the trust region and enhance the stability of RL. We identify that the upper clip can restrict the exploration of the policy, where making an 'exploitation' token more probable is much easier yet the probability of an unlikely 'exploration' token is too tightly bounded to bu uplifted.

Concretely, when $\varepsilon = 0.2$ (the default value of most algorithms) and $\hat{A}_{i,t} > 0$ (the system tries to increase the probability), consider two actions with probabilities $\pi_{\theta_{\text{old}}}(o_i \mid q) = 0.01$ and $0.9$. The upper bounds of the increased probabilities $\pi_\theta(o_i \mid q)$ are $0.012$ and $1.08$, respectively ($\pi_{\theta_{\text{old}}} \cdot (1 + \varepsilon)$). This implies that 'exploitation' tokens with a higher probability (e.g., $0.9$) are not constrained to get even extremely larger probabilities like $0.999$. Conversely, for low-probability 'exploration' tokens, achieving a non-trivial increase in probability is considerably more challenging. Empirically, we also observe that the mean probability of up-clipped tokens is low: $\pi_\theta(o_i \mid q) < 0.2$ (Figure 3a). This finding supports our intuition that the upper clipping threshold indeed restricts the probability increase of low-probability 'exploration' tokens, thereby potentially constraining the exploration of the system.

![image.png](/static/img/13364ebf33a5bb1d1cebcbddc9b3ce34.image.png)

Adhering to the **Clip-Higher** strategy, we decouple the lower and higher clipping range as $\varepsilon_{\text{low}}$ and $\varepsilon_{\text{high}}$, as highlighted in Equation 10:

$$
\begin{aligned}
\mathcal{J}_{\text{DAPO}}(\theta) = & \mathbb{E}_{(q,a) \sim \mathcal{D}, \{o_i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}(\cdot|q)} \\
& \left[\frac{1}{\sum_{i=1}^G |o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} \min\left(r_{i,t}(\theta) \hat{A}_{i,t}, \text{clip}\left(r_{i,t}(\theta), 1 - \varepsilon_{\text{low}}, 1 + \varepsilon_{\text{high}}\right) \hat{A}_{i,t}\right)\right] \\
\text{s.t.} \quad & 0 < |\{o_i \mid \text{is\_equivalent}(a, o_i)\}| < G.
\end{aligned}
$$

We increase the value of $\varepsilon_{\text{high}}$ to leave more room for the increase of low-probability tokens. As shown in Figure 2, this adjustment effectively enhances the policy's entropy and facilitates the generation of more diverse samples. We keep $\varepsilon_{\text{low}}$ as it is, because increasing it will suppress the probability of these tokens to 0, resulting in the collapse of the sampling space.

Raise the Ceiling: Clip-Higher

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2409.12183 |
> | Code & Data | https://github.com/Zayne-sprague/To-CoT-or-not-to-CoT |
> | Public      | ICLR |
> | Date        | 2025.06.10 |


# Summary Overview

探讨了 CoT 是否会在各类任务上都提升模型性能，但是发现 CoT 仅在数学和逻辑相关的任务上提升大，其他类型的任务收益很小。

![image.png](/static/img/5e037193e349f2c7f5427052588004d5.image.png)

# Main Content
 
 **Findings:**
 1. CoT only helps substantially on problems requiring mathematical, logical, or algorithm reasoning.
 2. CoT primarily helps with the execution step that performs computation and symbolic manipulation, but falls short of what LLMs with tool augmentation can do.

![image.png](/static/img/6393e07b799184b591157d51f1e8a25d.image.png)

![image.png](/static/img/a5c7cd415d28d5733b071a3326c15887.image.png)

**Where does zero-shot CoT improve over direct prompts?**
*On datasets that require math (MATH, GSM8K) or formal logic (ContextHub, MuSR to a lesser degree) to answer the problem.*

**Does the answer format impact where CoT will help?**
*Not much. Free response capabilities required for BigGen Bench may not benefit from pre-planning.*

**Are the gains in Knowledge, Soft Reasoning, and Commonsense significant?**
*Mostly no, except for MMLU, StrategyQA, and MuSR.*

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **系统性元分析**：论文通过对超过100篇相关文献的元分析，系统地总结了链式思维（Chain-of-Thought, CoT）在不同任务中的表现。这种大规模的文献综述为理解CoT方法的适用范围提供了重要的参考。
   - **定量实验覆盖广泛模型与数据集**：论文对14个当代语言模型和20个数据集进行了实验，覆盖了从数学、逻辑到常识推理的多种任务类型，揭示了CoT方法在数学和符号推理任务上具有显著优势，而在其他任务上的增益有限。
   - **任务类型与CoT效果的关联分析**：通过对问题是否涉及符号操作（如包含“=”）的分类，论文明确指出CoT的主要优势集中于需要数学、逻辑或符号推理的任务。这种细粒度的分析为未来的研究提供了明确的方向。
   - **规划与执行的分离分析**：论文进一步分析了CoT在符号推理任务中的作用，发现其主要提升来自于执行阶段（即符号计算），而在规划阶段的表现不如外部工具。这一发现为将语言模型与工具结合的研究奠定了基础。
   - **工具增强与CoT的对比**：论文比较了使用CoT方法与工具增强方法（如Python解释器、逻辑求解器）的表现，发现工具增强在符号推理任务中表现更优，强调了未来需要探索更高效的推理范式。

2. 论文中存在的问题及改进建议：
   - **任务覆盖的局限性**：尽管论文涵盖了多种任务类型，但对长时规划任务（如复杂多步推理）和生成类任务的分析较少。这些任务可能对CoT方法有不同的需求，未来应进一步扩展任务覆盖范围。
   - **数据污染问题**：论文提到了一些模型可能在训练过程中接触过评估数据集的问题，但未能提供明确的解决方案。建议在未来研究中采用全新或人工生成的数据集，以避免潜在的数据污染。
   - **对非数学任务的改进探索不足**：论文指出CoT在非数学任务上的增益较小，但未深入探讨如何改进这一问题。未来可以尝试设计针对非数学任务的专用CoT策略。
   - **工具增强的复杂性**：尽管工具增强方法表现优异，但其实现复杂度较高，且对模型生成的计划质量要求较高。建议未来研究探索如何提高模型生成计划的准确性，以降低工具增强的使用门槛。
   - **用户成本与效率分析不足**：论文提到CoT的计算成本较高，但缺乏对用户成本和效率的详细分析。未来可以通过实验量化不同方法的计算成本和性能权衡。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：基于任务特性的动态CoT策略**  
     探索根据任务类型动态调整CoT方法的策略，特别是在非数学任务中设计新的推理范式。
   - **创新点2：CoT与多模态信息的结合**  
     研究如何将CoT方法扩展到多模态任务中，例如结合视觉、语音等信息的推理任务。
   - **创新点3：优化工具增强方法的计划生成模块**  
     针对工具增强方法，开发更鲁棒的计划生成模块，以提高其在符号推理任务中的适用性和效率。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：基于任务特性的动态CoT策略**
     - **研究方法**：
       1. 收集涵盖多种任务类型（如常识推理、文本分类、生成任务等）的数据集。
       2. 设计动态CoT策略，根据任务特性（如问题长度、推理步骤数）调整CoT提示。
       3. 在多个语言模型上测试动态CoT策略的效果，并与静态CoT和直接回答方法对比。
     - **研究步骤**：
       1. 对现有任务进行分类，提取特性标签（如是否涉及符号操作）。
       2. 开发动态提示生成算法，根据任务特性生成适配的CoT提示。
       3. 对比不同提示策略的性能，评估动态CoT的增益。
     - **期望成果**：
       1. 动态CoT策略在非数学任务中的显著性能提升。
       2. 提供一套任务特性与CoT策略匹配的通用规则。

   - **研究路径2：CoT与多模态信息的结合**
     - **研究方法**：
       1. 选取多模态任务数据集（如视觉-文本问答）。
       2. 将CoT方法扩展到多模态输入，设计多模态CoT提示。
       3. 评估多模态CoT在多模态任务上的性能，并与传统方法对比。
     - **研究步骤**：
       1. 构建多模态任务的CoT提示模板，结合图像或语音描述生成推理步骤。
       2. 使用多模态预训练模型（如CLIP）处理非文本输入，并与语言模型协同工作。
       3. 测试多模态CoT方法的性能，分析其对推理质量的影响。
     - **期望成果**：
       1. 多模态CoT方法在视觉-文本推理任务上的显著提升。
       2. 提供一套通用的多模态CoT设计框架。

   - **研究路径3：优化工具增强方法的计划生成模块**
     - **研究方法**：
       1. 针对符号推理任务，开发基于强化学习的计划生成模块。
       2. 使用自动化工具（如Python解释器、逻辑求解器）验证生成计划的准确性。
     - **研究步骤**：
       1. 设计强化学习算法，以生成可执行计划为目标。
       2. 在符号推理任务上训练和测试计划生成模块。
       3. 将优化后的计划生成模块与现有工具增强方法结合，评估其性能提升。
     - **期望成果**：
       1. 显著降低工具增强方法的计划生成错误率。
       2. 提供一种高效的符号推理解决方案，进一步缩小与工具增强方法的性能差距。

:::

# Others

[ICLR-2025] To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2506.02397 |
> | Code & Data | https://github.com/AgenticIR-Lab/OThink-R1 |
> | Public      | arXiv |
> | Date        | 2025.06.05 |


# Summary Overview

造了一批 Fast / Slow Thinking 的混合微调数据，然后使用了一个增加了 KL 散度的 Loss 进行 SFT。

![image.png](/static/img/4bb7ef46e53f6c870a4605f353dd6019.image.png)

$$\mathcal{L}_{\text{hybrid}} = -\mathbb{E}_{(\mathbf{x},\mathbf{y}) \in \mathcal{D}_{\text{SFT}}} \left[ \log \pi_\theta (y|\mathbf{x}) \right] + \beta_1 \text{KL}(\pi_\theta \| \pi_{\text{LRM}}) + \beta_2 \text{KL}(\pi_\theta \| \pi_{\text{LLM}})$$

# Main Content

**Two challenges:**
1. How to idnetify which scenarios that fast thinking is sufficient?
2. How to empower LRMs to autonomously select the appropriate reasoning mode?

**Three characteristic patterns of redundant reasoning:**
1. Multi-Solution Exploration: Persistent exploration of alternative solutions despite determining a correct answer.
2. Repeated Self-Validation: Excessive re-validation of every intermediate steps in final solutions.
3. Defensive Assumptions: Being overly cautious, take extraneous hypotheses into consideration based on internal knowledge, rather than problem-specific constraints.

![image.png](/static/img/f108c13f899deaf75f40f2c0d4765a94.image.png)

![image.png](/static/img/bbc10491bbfc03f6a15419cee81ff0a5.image.png)

# 🤖

:::info{title=" "}

## 核心创新点

### 动态思维模式切换机制
OThink-R1的最大创新在于提出了一种**内在的快/慢思维模式切换机制**，这是首次将认知科学中的双系统理论成功应用于大型推理模型（LRMs）。该机制能够让模型自主判断问题复杂度，并动态选择适当的推理模式。

### 推理冗余识别方法
论文系统性地分析了LRMs的推理轨迹，并提出了利用识别范式和LLM-Judge将推理轨迹分类为"冗余推理"或"必要推理"的方法。这种分类方法为优化推理效率提供了理论基础。

### 计算效率的显著提升
实验结果表明，OThink-R1在保持准确率的同时，平均减少了约23%的推理冗余。这一成果直接解决了LRMs产生比非推理LLMs多9.78倍token的效率问题。

## 关键学习点

1. **混合范式的必要性**：单一的静态推理模式无法适应不同复杂度的任务，灵活的混合模式是未来发展方向。

2. **认知科学启发的AI设计**：人类认知理论可以有效指导AI系统设计，特别是在推理策略选择方面。

3. **效率与性能的平衡**：通过智能的模式切换，可以在不牺牲性能的前提下大幅提升计算效率。

2. 论文中存在的问题及改进建议：

## 主要问题

### 模式切换标准的模糊性
论文虽然提出了使用LLM-Judge进行分类，但具体的判断标准和阈值设置缺乏详细说明。这可能导致在实际应用中难以复现和调优。

### 缺乏多样化任务评估
实验主要集中在数学和问答任务上，对于其他类型的推理任务（如代码生成、逻辑推理、创意写作等）的适用性未得到充分验证。

### 动态切换的开销分析不足
论文未详细分析模式切换本身带来的计算开销，这在实际部署中可能是一个重要考量因素。

## 改进建议

1. **建立更精确的复杂度评估体系**：开发基于任务特征的多维度复杂度评分系统，包括逻辑深度、知识广度、推理步骤等指标。

2. **扩展评估基准**：在更多样化的任务集上进行评估，包括多模态推理、长文本理解等场景。

3. **引入自适应学习机制**：让模型能够从历史决策中学习，不断优化模式切换的决策边界。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：

## 创新研究方向一：多粒度推理模式
不仅限于快/慢两种模式，而是设计包含超快速（直觉）、快速（模式识别）、中速（结构化推理）、慢速（深度分析）的多层次推理体系。

## 创新研究方向二：协同推理网络
构建多个专门化的推理模块，通过动态路由机制实现模块间的协同工作，不同模块可以并行处理问题的不同方面。

## 创新研究方向三：元推理优化器
开发一个专门的元模型，用于预测和优化主模型的推理路径，实现推理过程的实时优化和资源分配。

## 创新研究方向四：认知负载感知推理
引入认知负载理论，让模型能够评估用户的理解能力和需求，动态调整输出的详细程度和推理深度。

4. 为新的研究路径制定的研究方案：

## 研究方案一：多粒度推理模式系统

### 研究方法
1. **理论建模**：基于认知科学和信息论，建立多粒度推理的数学模型
2. **架构设计**：设计支持四种推理模式的统一神经网络架构
3. **训练策略**：开发分层强化学习算法，让模型学习选择最优推理粒度

## 研究方案二：协同推理网络架构

### 研究方法
1. **模块化设计**：开发专门化的推理模块（逻辑、数学、语言、常识等）
2. **动态路由**：设计基于注意力机制的智能路由系统
3. **协同训练**：开发新的多任务学习范式

## 研究方案三：元推理优化器

### 研究方法
1. **元学习框架**：采用MAML等元学习算法训练优化器
2. **推理轨迹分析**：收集和分析大量推理轨迹数据
3. **在线优化**：开发实时推理路径优化算法

## 研究方案四：认知负载感知推理系统

### 研究方法
1. **用户建模**：构建用户认知能力评估模型
2. **自适应生成**：开发根据用户需求调整输出的算法
3. **交互式优化**：通过用户反馈持续改进

:::

# Others