Resource	Info
Paper	http://arxiv.org/abs/2303.11366
Code & Data	https://github.com/noahshinn/reflexion
Public	Neurips
Date	2024.04.09

Summary Overview

这是一篇Agent的工作。本文提出了Reflexion，一种不通过更新权重，而是语言反馈来增强语言代理。具体来说，Reflexion agents口头反映任务反馈信号，然后在情景记忆缓冲区中维护自己的反射文本，以便在后续试验中做出更好的决策。

Main Content

Reflexion这类似于人类如何迭代地学习以几次的方式完成复杂的任务——通过反思之前的失败，以便为下一次尝试形成改进的攻击计划。

设计了3种reflective feedback：

1. simple binary enviornment feedback
2. pre-defined heuristics for common failure cases
3. self-evaluation (binary classification using LLMs (desicion-making) or self-written unit tests (programming))

Adavantages:

1. 轻量级的，不需要对LLM进行微调
2. 与难以执行准确的信用分配的标量或向量奖励相比，它允许更细致的反馈形式（例如，有针对性的行动变化）
3. 它允许比以前的经历更明确和可解释的情景记忆形式
4. 它为未来剧集中的行动提供了更明确的提示

Contributions:

1. 我们提出了 Reflexion，这是一种“口头”强化的新范例，它将策略参数化为代理的记忆编码与 LLM 参数的选择配对。
2. 我们探索了法学硕士中自我反思的这种新兴特性，并根据经验表明，自我反思对于通过少量试验学习复杂任务非常有用。
3. 我们推出 LeetcodeHardGym，这是一个代码生成 RL 健身房环境，由 19 种编程语言的 40 个具有挑战性的 Leetcode 问题（“困难级别”）组成。
4. 我们表明，Reflexion 在多个任务的强大基线上实现了改进，并在各种代码生成基准上实现了最先进的结果。

$M_a$: an Actor, generates text and actions

$M_e$: an Evaluator model, scores the outputs produced by $M_a$

$M_{sr}$: a Self-Reflection model, generates verbal reinforcement cues to assist the Actor in self-improvement

Memory: 反射过程的核心组成部分是短期记忆和长期记忆的概念。在推理时，Actor 根据短期和长期记忆做出决定，类似于人类记住最近的细粒度细节，同时也回忆从长期记忆中提炼出的重要经验。在强化学习设置中，轨迹历史充当短期记忆，而自我反思模型的输出则存储在长期记忆中。这两个记忆组件协同工作，提供特定的背景，但也受到多次试验中吸取的经验教训的影响，这是反射代理相对于其他法学硕士行动选择工作的关键优势。

The Reflexion process

在第一个试验种，Actor通过与环境交互产生轨迹$\tau_0$。然后评估器产生一个分数$r_0$，其计算公式为$r_0=M_e(\tau_0)$。$r_t$只是$t$的标量奖励，随着特定的任务性能提高而提高。在第一次实验后，为了将$r_0$放大为可用于LLM改进的反馈形式，自我反思模型分析$\{\tau_0,r_0\}$集合以生成存储在mem中的摘要$sr_0$。$sr_t$是对实验$t$的口头经验反馈。Actor，Evaluator和Self-Reflection模型通过循环试验一起工作，知道Evaluator认为$\tau_t$是正确的。反射的记忆成分对于其有效性十分关键。每次试验后$t$，$sr_t$都会附加到mem中。在实践中，我们通过存储经验的最大数量$\Omega$（通常设置为1-3）来限制mem，以遵守最大上下文LLM限制。

在这项工作中，我们提出了反射，一种利用言语强化来教导智能体从过去的错误中学习的方法。我们的经验表明，通过利用自我反思，反射智能体的性能明显优于当前广泛使用的决策方法。在未来的工作中，Reflexion 可以用于采用在传统 RL 设置中经过深入研究的更先进的技术，例如自然语言中的价值学习或离策略探索技术。

Experiments

Sequential decision making: ALFWorld

Reasoning: HotpotQA

Programming: MBPP, HumanEval, LeetcodeHardGym

Ablation study

🤖ChatGPT

Others