> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2310.12931 |
> | Code & Data | https://github.com/eureka-research/Eureka |
> | Public      | ICLR |
> | Date        | 2025.06.30 |


# Summary Overview

Large Language Models (LLMs) have excelled as high-level semantic planners for sequential decision-making tasks. However, harnessing them to learn complex low-level manipulation tasks, such as dexterous pen spinning, remains an open problem. We bridge this fundamental gap and present EUREKA, a human-level reward design algorithm powered by LLMs.

![image.png](/static/img/3139fa547109fccf92d2c316284fdba5.image.png)

Evolution-driven Universal REward Kit for Agent (EUREKA), a novel reward design algorithm powered by coding LLMs with the following contributions:
1. Achieves human-level performance on reward design
2. Solves dexterous manipulation tasks that were previously not feasible by manual reward engineering
3. Enable a new *gradient-free* in-context learning approach to reinforcement learning from human feedback (RLHF)

# Main Content

**Problem Setting and Definitions**

The goal of reward design is to return a shaped reward function for a ground-truth reward function that may be difficult to optimize directly (e.g., sparse rewards); this ground-truth reward function may only be accessed via queries by the designer.



Definition 2.1. (Reward Design Problem (Singh et al., 2010))
A reward design problem (RDP) is a tuple
$P = \langle M, \mathcal{R}, \pi_M, F \rangle$
where $M = (S, A, T)$ is the world model with state space $S$, action space $A$, and transition function $T$. $\mathcal{R}$ is the space of reward functions. $\mathcal{A}_M(\cdot) : \mathcal{R} \to \Pi$ is a learning algorithm that outputs a policy $\pi : S \to \Delta(A)$ that optimizes reward $$R \in \mathcal{R}$$ in the resulting Markov Decision Process (MDP), $$(M, R)$$. $$F : \Pi \to \mathbb{R}$$ is the fitness function that produces a scalar evaluation of any policy, which may only be accessed via policy queries (i.e., evaluate the policy using the ground truth reward function).

In an RDP, the goal is to output a reward function $$R \in \mathcal{R}$$ such that the policy
$$\pi := \mathcal{A}_M(R)$$ that optimizes $$R$$ achieves the highest fitness score $$F(\pi)$$.

**Reward Generation Problem.** In our problem setting, every component within a RDP is specified via code. Then, given a string $l$ that specifies the task, the objective of the reward generation problem is to output a reward function code $R$ such that $F(\mathcal{A}_M(R))$ is maximized.

![image.png](/static/img/68b35886254036ee256eed9523a3e6c6.image.png)

EUREKA outperforms human rewards.

![image.png](/static/img/7ed1e273caa3ffec90b4f8762ca1bee0.image.png)

EUREKA consistently improves over time.

![image.png](/static/img/032f1234abc3b7a6ce83c92c4eaa5ddf.image.png)

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **提出了EUREKA框架**：EUREKA是一种基于编码大语言模型（LLMs）和进化搜索的新型奖励设计算法。其独特之处在于无需任务特定的提示或奖励模板，通过环境代码作为上下文，能够零样本生成可执行的奖励函数。这种方法显著减少了人工试错设计奖励的复杂性。
   - **实现了人类级别的奖励生成能力**：EUREKA在29个RL环境中表现优异，覆盖了10种不同的机器人形态。在83%的任务中，EUREKA生成的奖励超过了专家设计的奖励，平均改进幅度达52%。
   - **解决复杂任务的能力**：EUREKA首次实现了基于Shadow Hand的快速笔旋转任务，展示了其在高维度、复杂任务中的适应性。
   - **引入奖励反思机制**：通过奖励反思（reward reflection），EUREKA能够基于训练反馈动态改进奖励函数。这种机制为奖励设计提供了细粒度的优化信号。
   - **支持人类反馈的强化学习**：EUREKA能够结合人类提供的文本反馈生成更符合人类意图的奖励函数，为强化学习从人类反馈（RLHF）提供了一种无梯度的学习方法。

2. 论文中存在的问题及改进建议：
   - **依赖任务适合的评价函数**：EUREKA需要一个明确的任务评价函数（fitness function），然而在一些开放式任务中，定义明确的评价函数可能较为困难。改进建议是结合视觉-语言模型（VLMs），通过分析任务视频自动生成评价函数或人类反馈。
   - **对模拟环境的依赖**：研究主要在模拟环境中进行，缺乏对真实机器人任务的广泛验证。建议扩展到更多真实世界的任务，并探索更高效的Sim2Real方法。
   - **缺乏对多任务学习的探索**：EUREKA目前针对单一任务生成奖励函数，尚未探索多任务场景下的奖励生成机制。建议研究如何在多任务学习中共享奖励设计知识。
   - **对LLM性能的依赖**：尽管实验表明EUREKA在使用性能较低的GPT-3.5时仍能取得较好结果，但其性能仍然受限于LLM的能力。未来可以探索结合更高效的编码模型或领域特化模型。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1**：开发基于视觉-语言模型的任务描述与奖励生成框架，将任务视频直接作为输入，自动生成奖励函数。
   - **创新点2**：研究多任务奖励生成机制，探索如何通过共享知识在多个任务中提升奖励生成效率和性能。
   - **创新点3**：将EUREKA扩展到真实机器人环境，结合Sim2Real技术验证其在实际任务中的适用性，并探索对物理参数变化的鲁棒性。

4. 为新的研究路径制定的研究方案：
   - **研究方案1：基于视觉-语言模型的任务描述与奖励生成**
     - **目标**：开发一个框架，利用视觉-语言模型从任务视频生成任务描述和奖励函数。
     - **研究方法**：
       1. 利用预训练的视觉-语言模型（如BLIP-2或MiniGPT-4）对任务视频生成自然语言任务描述。
       2. 将生成的任务描述与环境代码结合，输入EUREKA框架生成奖励函数。
       3. 在标准RL环境中评估生成奖励的性能，并与人工设计的奖励进行对比。
     - **期望成果**：
       1. 生成的奖励函数能够有效提升RL算法的学习效率。
       2. 验证视觉-语言模型在任务理解和奖励生成中的潜力。

   - **研究方案2：多任务奖励生成机制**
     - **目标**：研究如何通过共享知识在多个任务中提升奖励生成的效率和性能。
     - **研究方法**：
       1. 构建多个相关任务的环境（例如不同形态的机器人任务）。
       2. 在EUREKA中引入跨任务的奖励生成模块，利用任务间的相似性共享奖励设计知识。
       3. 评估共享奖励生成机制在不同任务中的性能提升。
     - **期望成果**：
       1. 提出一种高效的多任务奖励生成算法。
       2. 验证奖励共享机制在复杂任务中的适用性。

   - **研究方案3：扩展至真实机器人环境**
     - **目标**：将EUREKA扩展到真实机器人任务，验证其在实际应用中的适用性。
     - **研究方法**：
       1. 选择一个典型的真实机器人任务（例如机械臂抓取或移动机器人导航）。
       2. 结合Sim2Real技术，将EUREKA生成的奖励函数应用于真实机器人。
       3. 通过实验验证奖励函数在真实环境中的鲁棒性和性能。
     - **期望成果**：
       1. 提供EUREKA在真实机器人任务中的性能评估。
       2. 提出改进Sim2Real的奖励设计方法。

:::

# Others

[ICLR-2024] Eureka: Human-Level Reward Design via Coding Large Language Models

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://openreview.net/pdf?id=qZMLrURRr9 |
> | Code & Data | / |
> | Public      | ICML |
> | Date        | 2025.06.26 |



# Main Content

Eureka 在 ERL 中应用了协同优化的想法，用于奖励生成：EA 将 LLM 生成的奖励函数进行群体进化，而 RL 则用于训练策略来评估最佳 reward function。但是 Eureka 具有两个限制：
1. Greedy Exploitation: Eureka 仅根据每次迭代的最佳 reward function 而改善，这可能会导致奖励函数不是最优的结果。
2. Suboptimal Parameter Assignment: Reward functions 通常包含许多参数，例如权重或系数。Eureka 借助于 LLM 直接进行设置，这通常是次优的。这样可能导致无法提供精确的知道。

作者为了解决上述问题，进一步扩展 ERL，提出了 R*

![image.png](/static/img/c9de2d2e856cee0ad56a79aa495aacf1.image.png)

Two Stages: the initialization stage and the evolutionary improvement stage.

The initialization stage consists of two key steps: (1) Initializing the reward function population, which provides the foundation for subsequent reward function design; (2) Initializing the critic population, wich is used to collect trajectory segment pairs with high-quality labels.

1. **Rward Population Initialization.** R* leverages LLM to generate the initial reward function population $\mathbb{P}_{\text{Reward}}$ by providing the task description $L$ and environment code infomation $C$. To facilitate more efficient structure search in subsequent stages, we design the prompt $P_{\text{reward}}$ to guide the LLM in generating reward functions composed of multiple reward modules.
2. **Critic Population Initialization.** In addition to the reward population, R* also needs to generate a critic population $\mathbb{P}_{\text{Critic}}$, with each individual represented as a code function. These critics are used to compare trajectories and provide step-wise comparison labels. Similar to the reward population, R* takes task descriptoins $P$, environment code $C$, and the prompt $P_{\text{critic}}$ as inputs to generate the critic population $\mathbb{P}_{\text{Critic}}$.

After completing the initialization stage, we proceed to the reward function evolutionary improvement stage, which consists of three steps: population evaluation, evolution, and parameter optimization.

1. **Reward Population Evaluation.** For each reward function $F_i$ in the reward population $\mathbb{P}_{\text{reward}}$, we train PPO in parallel to solve the task using Isaac Gym. During training, we record the success rates of the learned policies, along with other relevant statistics, such as the mean, maximum, and minimum values of each reward module. The reward functions, along with their fitness values, are then stored in the reward function archive $D_F$. The success rate of the policy serves as the reward function fitness.
2. **Reward Population Evolution.** We select the reward function $F_\text{best}$ with the highest fitness, along with its associated learning information, to serve as feedback. Through the LLM reflection mechanism, we perform evolution operations such as modifying, deleting or adding modules to improve the reward function, thereby creating a new improved reward function. To fully exploit the high-quality reward functions discovered, we select parent reward functions from the reward function archive $D_F$ based on their fitness. Module-level crossover is then applied to these parents to generate new individuals, facilitating further exploration of the reward design space.
3. **Reward Parameter Optimization.** Using the critic population $\mathbb{P}_{\text{Critic}}$, we extract trajectory segments and apply comparision labels to the segments, creating a labeled trajectory buffer $D_T$. The reward functions are then optimized based on $D_T$, allowing them to better evaluate segment quality and guide policy learning.


![image.png](/static/img/8ee18a79b161e9f82aa6559c5e74ca53.image.png)

# Experiments

![image.png](/static/img/07948a801015847a9de91ee9836d3e20.image.png)

![image.png](/static/img/5dcce6e8b122f924ca9ff5ceaf558ea0.image.png)
# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **创新点1：奖励函数设计的分解与模块化方法**  
     本文提出了一种名为R*的框架，将奖励函数设计分解为两个独立的阶段：奖励结构演化和参数对齐优化。通过模块化的奖励函数设计，结合模块级别的交叉操作和LLM（大型语言模型）的反思机制，极大提升了奖励函数的搜索效率和学习稳定性。这种模块化设计思路为复杂任务的奖励函数优化提供了新的视角。
   - **创新点2：基于LLM的奖励函数生成与优化**  
     本文首次系统性地将LLM引入奖励函数生成和优化流程中，利用其强大的编码能力和领域知识生成高质量的奖励函数，并通过LLM辅助的模块改进、删除和添加操作实现奖励函数的持续优化。
   - **创新点3：基于投票机制的轨迹分段标注**  
     提出了基于批评函数的逐步投票机制，用于对轨迹分段进行高置信度的标注。通过结合多个批评函数的结果，解决了单一函数标注质量不高的问题，为奖励函数参数优化提供了可靠的训练数据。
   - **创新点4：实验证明R*超越人类设计的奖励函数**  
     在8个机器人控制任务中的实验结果表明，R*生成的奖励函数在性能和收敛效率上均优于现有强基线方法（如Eureka）和人类设计的奖励函数，这证明了其在复杂任务中的实际应用潜力。

2. 论文中存在的问题及改进建议：
   - **问题1：对LLM的依赖性较高**  
     R*框架中大量依赖LLM的生成能力，包括奖励函数和批评函数的生成。然而，LLM生成的代码可能存在语法或逻辑错误，尽管文章提到通过交叉生成补充失败的个体，但这种方法可能增加计算成本。  
     **改进建议**：引入自动化代码验证和修复机制，例如通过静态代码分析或小规模环境测试提前发现并修复错误，降低LLM生成代码的失败率。
   - **问题2：模块化交叉操作的随机性较强**  
     虽然模块级别的交叉操作在探索奖励函数设计空间时表现出一定的有效性，但其随机性可能导致生成的个体质量不稳定。  
     **改进建议**：在交叉操作中引入启发式策略，例如基于模块性能的权重分配，优先选择高质量模块进行交叉，从而提高新个体的整体质量。
   - **问题3：对真实世界任务的适应性不足**  
     本文的实验主要基于模拟环境，假设低层信息（如距离、速度）完全可用。但在真实世界任务中，通常只能获取高层视觉信息，这限制了方法的通用性。  
     **改进建议**：探索将视觉语言模型（VLM）与R*框架结合，利用视觉特征提取方法（如YOLO）从图像中提取关键变量，进一步扩展R*在真实场景中的适用性。
   - **问题4：缺乏对生成奖励函数的可解释性分析**  
     尽管R*生成的奖励函数在性能上优于人类设计的奖励函数，但未深入分析这些奖励函数的结构特性（如模块的贡献度）。  
     **改进建议**：引入奖励函数的可解释性分析框架，例如通过模块重要性分析或特征归因方法，揭示奖励函数中关键模块的作用。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：引入多模态信息的奖励函数设计框架**  
     将视觉和语言模型（如VLM和LLM）结合，用于处理仅有视觉观测的复杂任务。例如，通过视觉模型提取关键物体的位置信息，再结合LLM生成奖励函数。
   - **创新点2：自适应模块化奖励函数生成方法**  
     开发一种动态模块化生成方法，根据任务需求实时调整奖励模块的数量和类型，避免冗余模块对学习效率的影响。
   - **创新点3：奖励函数的可解释性增强机制**  
     建立奖励函数的可解释性分析框架，量化每个模块对整体性能的贡献，并通过可视化工具展示奖励函数的优化过程。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：引入多模态信息的奖励函数设计框架**  
     **研究方法**：  
       1) 使用视觉模型（如YOLO或CLIP）提取任务场景中的关键特征（如物体位置、目标距离）。  
       2) 将提取的特征转化为结构化变量，并输入LLM生成奖励函数。  
       3) 在模拟环境和真实机器人任务中验证生成奖励函数的有效性。  
     **研究步骤**：  
       - 数据准备：收集包含视觉信息的机器人任务数据集。  
       - 模型训练：训练视觉模型以提取任务关键特征。  
       - 框架设计：将视觉模型与R*框架结合，实现奖励函数的多模态生成。  
       - 性能评估：在多种任务中比较多模态奖励函数与单模态奖励函数的性能差异。  
     **期望成果**：  
       - 提出一种适用于视觉观测任务的奖励函数生成框架。  
       - 实验证明多模态信息能够提高奖励函数的质量和学习效率。

   - **研究路径2：自适应模块化奖励函数生成方法**  
     **研究方法**：  
       1) 基于任务描述和环境反馈，动态调整奖励模块的数量和类型。  
       2) 使用强化学习或元学习方法优化模块选择策略。  
     **研究步骤**：  
       - 模块生成：设计一组通用的奖励模块库。  
       - 策略优化：训练一个元学习模型，根据任务反馈选择最优的模块组合。  
       - 实验验证：在多种任务中测试自适应模块化方法的性能。  
     **期望成果**：  
       - 提出一种动态模块化奖励函数生成方法，显著提高复杂任务的学习效率。  
       - 实现模块选择的自动化，减少对人类专家的依赖。

   - **研究路径3：奖励函数的可解释性增强机制**  
     **研究方法**：  
       1) 使用特征归因方法（如Shapley值或集成梯度）分析奖励函数中各模块的贡献度。  
       2) 设计可视化工具展示奖励函数优化过程和模块的重要性。  
     **研究步骤**：  
       - 分析方法开发：选择适合奖励函数的归因方法，并开发分析工具。  
       - 可视化设计：设计交互式界面，展示奖励函数的结构和优化过程。  
       - 实验验证：通过用户研究评估可解释性工具对开发者的帮助。  
     **期望成果**：  
       - 提出一种奖励函数的可解释性分析框架，帮助开发者理解和优化奖励函数。  
       - 提供可视化工具，提升奖励函数设计的透明性和可信度。

:::

# Others

[ICML-2025] R*: Efficient Reward Design via Reward Structure Evolution and Parameter Alignment Optimization with Large Language Models

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2505.13417 |
> | Code & Data | https://github.com/THU-KEG/AdaptThink |
> | Public      | arXiv |
> | Date        | 2025.06.20 |


# Summary Overview

作者认为对于简单的问题，没有必要使用 thinking 模式，而是直接进行回答也能获得很高的准确率。从效率上来说，模型应该有选择的使用 thinking，而不是所有的都开。通过强化学习训练模型，使得模型能够在推理时，自动地选择是否使用 thinking。

*AdaptThink*, a novel RL algorithm to teach reasoning models to choose the optimal thinking mode adaptively based on problem difficulty.

1. a constrained optimization objective that encourages the model to choose *NoThinking* while maintaining the overall performance;
2. an importance sampling strategy that balances *Thinking* samples during on-policy training, thereby enabling cold start and allowing the model to explore and exploit both thinking modes throughout the training process.

![image.png](/static/img/0dfb2411dced00d77d9029b6dc49bdc1.image.png)

# Main Content

*Can the reasoning model learn to select Thinking or NoThinking mode adaptively based on the difficulty of the input problem, thereby achieving more efficient reasoning without sacrificing or even improving performance?*

![image.png](/static/img/59189518bafb33c06b2839abf40282f7.image.png)

**Constrained Optimization Objective**

an ideal selection policy should prefer to choose *NoThinking* as long as the overall performance is not diminished. Let $\pi_{\theta_\text{ref}}$ denote the reference model, which is the initial $\pi_\theta$ and remains unchanged during training.

$$
\begin{align*}
\max &\mathbb{E}_{x \sim D, y \sim \pi_\theta(\cdot|x)} \mathbb{1}(y_1 = \langle/\text{think}\rangle)\\
s.t. \; &\mathbb{E}_{x \sim D, y \sim \pi_\theta(\cdot|x)} R(x, y) \geq 
\mathbb{E}_{x \sim D, y' \sim \pi_{\theta_{\text{ref}}}(\cdot|x)} R(x, y').
\end{align*}
$$

To solve this constrained optimization problem, we incorporate the constraint into the objective as a penalty term, with a penalty weight $\lambda\geq0$:

$$
\max\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_\theta(\cdot|x),y^\prime\sim\pi_{\text{ref}}(\cdot|x)}\mathbb{1}(y_1 = \langle/\text{think}\rangle)+\lambda(R(x,y)-R(x,y^\prime))
$$

By dividing the both side by $\lambda$, letting $\delta=\frac{1}{\lambda}$, and reorganizing the terms about $\pi_{\theta{\text{ref}}}$, we have:

$$
\max\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_{\theta}(\cdot|x)}\mathbb{1}(y_1 = \langle/\text{think}\rangle)\cdot\delta+R(x,y)-\mathbb{E}_{y^\prime\sim\pi_{\theta_{\text{ref}}(\cdot|x)}}R(x,y^\prime)
$$

In pracitice, $\mathbb{E}_{y^\prime\sim\pi_{\theta_{\text{ref}}}(\cdot|x)}R(x,y^\prime)$ can be approximated by pre-sampling before training. Specifically, we sample $K$ responses from $\pi_{\theta_{\text{ref}}}(\cdot|x)$ for each $x$, and calculate their mean reward:

$$
\bar{R}_\text{ref}(x)=\frac{1}{K}\sum_{i=1}^KR(x,y^{\prime i}),y^{\prime i}\sim\pi_{\theta_{\text{ref}}}(\cdot|x)
$$

Then the optimization objective becomes:

$$
\max\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_{\theta}(\cdot|x)}\mathbb{1}(y_1 = \langle/\text{think}\rangle)\cdot\delta+R(x,y)-\bar{R}_\text{ref}(x)
$$

Since $\mathbb{1}(y_1 = \langle/\text{think}\rangle)$ and $R(x,y)$ are not differentiable, we employ policy gradient method to solve this optimization. Specifically, let $\pi_{\theta_\text{old}}$ be a distribution equal to $\pi_\theta$ without gradient update, and define the advantage function: $A(x,y)=\mathbb{1}(y_1 = \langle/\text{think}\rangle)\cdot\delta+R(x,y)-\bar{R}_\text{ref}(x)$. Then the objective can be converted into a PPO-style loss without KL penalty:

$$
\mathcal{L}(\theta)=-\mathbb{E}_{x\sim\mathcal{D},y\sim\pi_{\theta_{\text{old}}}(\cdot|x)}[\min(\frac{\pi_\theta(y|x)}{\pi_{\theta_{\text{old}}}(y|x)}A(x,y),\text{clip}(\frac{\pi_\theta(y|x)}{\pi_{\theta_{\text{old}}}(y|x)},1-\epsilon,1+\epsilon)A(x,y))]
$$

To solve cold-start challenge, we employ the technique of importance sampling. Specifically, we define a new distribution $\pi_{\text{IS}}(\cdot|x)$:

$$
\pi_{\text{IS}}(y_t = a|x, y_{<t}) = \begin{cases}
0.5, & \text{if } t = 1, a = \langle/\text{think}\rangle; \\
0.5, & \text{if } t = 1, a = w_{\text{start}}; \\
\pi_{\theta_{\text{old}}}(y_t = a|x, y_{<t}), & \text{if } t > 1.
\end{cases}
$$

During training, we sample responses $\{y^i\}_{i=1}^K$ from $\pi_{\text{IS}}(\cdot|x)$ instead of $\pi_{\theta_{\text{old}}}(\cdot|x)$, so that half of the samples in a batch are in *Thinking* mode and the other half are *NoThinking*.

![image.png](/static/img/be705e91a0af418fe26e185e1347afc2.image.png)

![image.png](/static/img/0223b9668320f8b621454db1277a86a5.image.png)

![image.png](/static/img/e042fd86784184319da1c8118e410ba4.image.png)

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **创新之处**：
     1. **适应性思维模式选择**：论文提出了AdaptThink，这是一种基于强化学习的算法，能够根据问题难度动态选择“思考模式（Thinking）”或“直接生成模式（NoThinking）”。这种方法显著优化了推理效率，同时在性能上也有所提升。
     2. **约束优化目标**：AdaptThink在优化目标中引入了约束条件，鼓励模型在不降低整体性能的情况下优先选择NoThinking模式。这种方法有效减少了推理成本。
     3. **重要性采样策略**：通过在训练过程中平衡Thinking和NoThinking样本的采样，解决了冷启动问题，并为模型提供了更全面的探索和利用空间。
     4. **显著的实验结果**：在多个数学数据集（如GSM8K、MATH500和AIME2024）上的实验表明，AdaptThink不仅减少了推理成本（平均减少53%），还提升了准确率（平均提升2.4%）。

   - **独特性**：
     - 论文首次系统性地研究了思维模式选择与问题难度的关系，明确指出简单问题中NoThinking模式的效率和性能优势。
     - 提出的算法不仅适用于数学问题，还在跨领域任务（如MMLU）中展示了良好的泛化能力。

   - **关键学习点**：
     1. 在推理任务中，问题难度是决定推理模式的重要因素。
     2. 通过强化学习和重要性采样，可以在不同推理模式之间实现高效的动态切换。
     3. 对于简单问题，减少冗余推理步骤有助于显著提升模型效率。

2. 论文中存在的问题及改进建议：
   - **问题1：对复杂问题的处理仍依赖传统Thinking模式**  
     尽管论文提出了NoThinking模式的优势，但在复杂问题中，模型仍然依赖Thinking模式，未能完全优化推理过程。
     - **改进建议**：探索更高效的“简化思维（Simplified Thinking）”模式，即在Thinking模式中通过剪枝或动态调整推理深度来优化复杂问题的推理效率。

   - **问题2：适用性验证范围有限**  
     论文的实验主要集中在数学数据集上，尽管在MMLU中展示了一定的泛化能力，但对其他领域（如医疗、法律）的适用性尚未验证。
     - **改进建议**：扩展实验范围，将AdaptThink应用于更多领域的任务，如多模态推理、开放域问答等，以验证其通用性。

   - **问题3：NoThinking模式的隐性思维问题**  
     实验中提到，NoThinking模式可能激活隐性思维特征，导致生成的结果仍包含部分冗余推理。
     - **改进建议**：在强化学习训练中引入显式的奖励约束，检测并惩罚隐性思维特征，从而进一步优化NoThinking模式的效率。

   - **问题4：对问题难度的量化缺乏细化**  
     论文中对问题难度的定义较为粗略，主要依赖数据集的预定义分类。
     - **改进建议**：设计一种动态的难度评估机制，结合问题的语义复杂度、结构特征和历史解答记录，为每个问题分配更精确的难度评分。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：动态推理深度控制**  
     在Thinking模式中引入动态推理深度控制机制，根据问题难度调整推理链的长度，从而进一步优化复杂问题的推理效率。
   - **创新点2：多模态适应性推理**  
     将AdaptThink扩展到多模态任务中（如视觉-语言推理），研究不同模态下思维模式选择的适应性。
   - **创新点3：基于用户需求的个性化推理模式选择**  
     结合用户的时间需求和偏好，动态调整推理模式，以实现更好的用户体验。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：动态推理深度控制**
     - **研究方法**：
       1. 在Thinking模式中引入推理深度控制模块，动态监控生成的推理链长度。
       2. 基于问题的难度评分和当前推理步骤的置信度，动态决定是否继续推理或终止并生成答案。
     - **研究步骤**：
       1. 构建包含不同复杂度问题的数据集，并标注每个问题的最优推理链长度。
       2. 设计强化学习算法，将推理深度作为一个可控变量，优化模型的推理效率和准确率。
       3. 在数学和常识问答任务上验证方法的有效性。
     - **期望研究成果**：
       1. 显著减少复杂问题的推理时间。
       2. 提高模型在复杂问题上的准确率，同时保持推理链的简洁性。

   - **研究路径2：多模态适应性推理**
     - **研究方法**：
       1. 将AdaptThink的思维模式选择机制扩展到多模态任务中，例如视觉-语言推理。
       2. 在多模态任务中定义不同模态的推理难度，并设计联合优化目标。
     - **研究步骤**：
       1. 构建多模态推理数据集（如视觉问答、视频字幕生成）。
       2. 在多模态Transformer架构中集成AdaptThink算法，研究不同模态下思维模式的选择策略。
       3. 评估模型在多模态任务中的效率和性能。
     - **期望研究成果**：
       1. 提出一种适用于多模态任务的高效推理框架。
       2. 在视觉-语言推理任务中实现更高的效率和准确率。

   - **研究路径3：基于用户需求的个性化推理模式选择**
     - **研究方法**：
       1. 引入用户偏好建模模块，根据用户的时间需求（如快速响应或高质量推理）动态调整推理模式。
       2. 在强化学习中加入用户偏好奖励函数。
     - **研究步骤**：
       1. 收集用户在不同任务中的偏好数据，构建用户需求数据集。
       2. 设计强化学习算法，结合用户偏好和问题难度，优化推理模式选择。
       3. 在对话系统和实时问答场景中进行实验验证。
     - **期望研究成果**：
       1. 实现基于用户需求的个性化推理，显著提升用户体验。
       2. 提供一种通用的用户偏好建模方法，可扩展到其他交互式AI任务。

:::

# Others

[arXiv-2025] AdaptThink: Reasoning Models Can Learn When to Think

# Raise the Ceiling: Clip-Higher

> Cite from: DAPO: An Open-Source LLM Reinforcement Learning System at Scale



In our initial experiments using naive PPO or GRPO, we observed the entropy collapse phenomenon: the entropy of the policy decreases quickly as training progresses. The sampled responses of certain groups tend to be nearly identical. This limited exploration and early deterministic policy, which can hinder the scaling process.

We propose the **Clip-Higher** strategy to address this issue. Clipping over the importance sampling ratio is introduced in Clipped Proximal Policy Optimization (PPO-Clip) to restrict the trust region and enhance the stability of RL. We identify that the upper clip can restrict the exploration of the policy, where making an 'exploitation' token more probable is much easier yet the probability of an unlikely 'exploration' token is too tightly bounded to bu uplifted.

Concretely, when $\varepsilon = 0.2$ (the default value of most algorithms) and $\hat{A}_{i,t} > 0$ (the system tries to increase the probability), consider two actions with probabilities $\pi_{\theta_{\text{old}}}(o_i \mid q) = 0.01$ and $0.9$. The upper bounds of the increased probabilities $\pi_\theta(o_i \mid q)$ are $0.012$ and $1.08$, respectively ($\pi_{\theta_{\text{old}}} \cdot (1 + \varepsilon)$). This implies that 'exploitation' tokens with a higher probability (e.g., $0.9$) are not constrained to get even extremely larger probabilities like $0.999$. Conversely, for low-probability 'exploration' tokens, achieving a non-trivial increase in probability is considerably more challenging. Empirically, we also observe that the mean probability of up-clipped tokens is low: $\pi_\theta(o_i \mid q) < 0.2$ (Figure 3a). This finding supports our intuition that the upper clipping threshold indeed restricts the probability increase of low-probability 'exploration' tokens, thereby potentially constraining the exploration of the system.

![image.png](/static/img/13364ebf33a5bb1d1cebcbddc9b3ce34.image.png)

Adhering to the **Clip-Higher** strategy, we decouple the lower and higher clipping range as $\varepsilon_{\text{low}}$ and $\varepsilon_{\text{high}}$, as highlighted in Equation 10:

$$
\begin{aligned}
\mathcal{J}_{\text{DAPO}}(\theta) = & \mathbb{E}_{(q,a) \sim \mathcal{D}, \{o_i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}(\cdot|q)} \\
& \left[\frac{1}{\sum_{i=1}^G |o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} \min\left(r_{i,t}(\theta) \hat{A}_{i,t}, \text{clip}\left(r_{i,t}(\theta), 1 - \varepsilon_{\text{low}}, 1 + \varepsilon_{\text{high}}\right) \hat{A}_{i,t}\right)\right] \\
\text{s.t.} \quad & 0 < |\{o_i \mid \text{is\_equivalent}(a, o_i)\}| < G.
\end{aligned}
$$

We increase the value of $\varepsilon_{\text{high}}$ to leave more room for the increase of low-probability tokens. As shown in Figure 2, this adjustment effectively enhances the policy's entropy and facilitates the generation of more diverse samples. We keep $\varepsilon_{\text{low}}$ as it is, because increasing it will suppress the probability of these tokens to 0, resulting in the collapse of the sampling space.

Raise the Ceiling: Clip-Higher

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2409.12183 |
> | Code & Data | https://github.com/Zayne-sprague/To-CoT-or-not-to-CoT |
> | Public      | ICLR |
> | Date        | 2025.06.10 |


# Summary Overview

探讨了 CoT 是否会在各类任务上都提升模型性能，但是发现 CoT 仅在数学和逻辑相关的任务上提升大，其他类型的任务收益很小。

![image.png](/static/img/5e037193e349f2c7f5427052588004d5.image.png)

# Main Content
 
 **Findings:**
 1. CoT only helps substantially on problems requiring mathematical, logical, or algorithm reasoning.
 2. CoT primarily helps with the execution step that performs computation and symbolic manipulation, but falls short of what LLMs with tool augmentation can do.

![image.png](/static/img/6393e07b799184b591157d51f1e8a25d.image.png)

![image.png](/static/img/a5c7cd415d28d5733b071a3326c15887.image.png)

**Where does zero-shot CoT improve over direct prompts?**
*On datasets that require math (MATH, GSM8K) or formal logic (ContextHub, MuSR to a lesser degree) to answer the problem.*

**Does the answer format impact where CoT will help?**
*Not much. Free response capabilities required for BigGen Bench may not benefit from pre-planning.*

**Are the gains in Knowledge, Soft Reasoning, and Commonsense significant?**
*Mostly no, except for MMLU, StrategyQA, and MuSR.*

# 🤖

:::info{title=" "}
1. 论文的创新之处与独特性：
   - **系统性元分析**：论文通过对超过100篇相关文献的元分析，系统地总结了链式思维（Chain-of-Thought, CoT）在不同任务中的表现。这种大规模的文献综述为理解CoT方法的适用范围提供了重要的参考。
   - **定量实验覆盖广泛模型与数据集**：论文对14个当代语言模型和20个数据集进行了实验，覆盖了从数学、逻辑到常识推理的多种任务类型，揭示了CoT方法在数学和符号推理任务上具有显著优势，而在其他任务上的增益有限。
   - **任务类型与CoT效果的关联分析**：通过对问题是否涉及符号操作（如包含“=”）的分类，论文明确指出CoT的主要优势集中于需要数学、逻辑或符号推理的任务。这种细粒度的分析为未来的研究提供了明确的方向。
   - **规划与执行的分离分析**：论文进一步分析了CoT在符号推理任务中的作用，发现其主要提升来自于执行阶段（即符号计算），而在规划阶段的表现不如外部工具。这一发现为将语言模型与工具结合的研究奠定了基础。
   - **工具增强与CoT的对比**：论文比较了使用CoT方法与工具增强方法（如Python解释器、逻辑求解器）的表现，发现工具增强在符号推理任务中表现更优，强调了未来需要探索更高效的推理范式。

2. 论文中存在的问题及改进建议：
   - **任务覆盖的局限性**：尽管论文涵盖了多种任务类型，但对长时规划任务（如复杂多步推理）和生成类任务的分析较少。这些任务可能对CoT方法有不同的需求，未来应进一步扩展任务覆盖范围。
   - **数据污染问题**：论文提到了一些模型可能在训练过程中接触过评估数据集的问题，但未能提供明确的解决方案。建议在未来研究中采用全新或人工生成的数据集，以避免潜在的数据污染。
   - **对非数学任务的改进探索不足**：论文指出CoT在非数学任务上的增益较小，但未深入探讨如何改进这一问题。未来可以尝试设计针对非数学任务的专用CoT策略。
   - **工具增强的复杂性**：尽管工具增强方法表现优异，但其实现复杂度较高，且对模型生成的计划质量要求较高。建议未来研究探索如何提高模型生成计划的准确性，以降低工具增强的使用门槛。
   - **用户成本与效率分析不足**：论文提到CoT的计算成本较高，但缺乏对用户成本和效率的详细分析。未来可以通过实验量化不同方法的计算成本和性能权衡。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **创新点1：基于任务特性的动态CoT策略**  
     探索根据任务类型动态调整CoT方法的策略，特别是在非数学任务中设计新的推理范式。
   - **创新点2：CoT与多模态信息的结合**  
     研究如何将CoT方法扩展到多模态任务中，例如结合视觉、语音等信息的推理任务。
   - **创新点3：优化工具增强方法的计划生成模块**  
     针对工具增强方法，开发更鲁棒的计划生成模块，以提高其在符号推理任务中的适用性和效率。

4. 为新的研究路径制定的研究方案：
   - **研究路径1：基于任务特性的动态CoT策略**
     - **研究方法**：
       1. 收集涵盖多种任务类型（如常识推理、文本分类、生成任务等）的数据集。
       2. 设计动态CoT策略，根据任务特性（如问题长度、推理步骤数）调整CoT提示。
       3. 在多个语言模型上测试动态CoT策略的效果，并与静态CoT和直接回答方法对比。
     - **研究步骤**：
       1. 对现有任务进行分类，提取特性标签（如是否涉及符号操作）。
       2. 开发动态提示生成算法，根据任务特性生成适配的CoT提示。
       3. 对比不同提示策略的性能，评估动态CoT的增益。
     - **期望成果**：
       1. 动态CoT策略在非数学任务中的显著性能提升。
       2. 提供一套任务特性与CoT策略匹配的通用规则。

   - **研究路径2：CoT与多模态信息的结合**
     - **研究方法**：
       1. 选取多模态任务数据集（如视觉-文本问答）。
       2. 将CoT方法扩展到多模态输入，设计多模态CoT提示。
       3. 评估多模态CoT在多模态任务上的性能，并与传统方法对比。
     - **研究步骤**：
       1. 构建多模态任务的CoT提示模板，结合图像或语音描述生成推理步骤。
       2. 使用多模态预训练模型（如CLIP）处理非文本输入，并与语言模型协同工作。
       3. 测试多模态CoT方法的性能，分析其对推理质量的影响。
     - **期望成果**：
       1. 多模态CoT方法在视觉-文本推理任务上的显著提升。
       2. 提供一套通用的多模态CoT设计框架。

   - **研究路径3：优化工具增强方法的计划生成模块**
     - **研究方法**：
       1. 针对符号推理任务，开发基于强化学习的计划生成模块。
       2. 使用自动化工具（如Python解释器、逻辑求解器）验证生成计划的准确性。
     - **研究步骤**：
       1. 设计强化学习算法，以生成可执行计划为目标。
       2. 在符号推理任务上训练和测试计划生成模块。
       3. 将优化后的计划生成模块与现有工具增强方法结合，评估其性能提升。
     - **期望成果**：
       1. 显著降低工具增强方法的计划生成错误率。
       2. 提供一种高效的符号推理解决方案，进一步缩小与工具增强方法的性能差距。

:::

# Others