> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2402.14658 |
> | Code & Data | https://opencodeinterpreter.github.io/ |
> | Public      | Arxiv |
> | Date        | 2024.07.25 |


# Summary Overview

OpenCodeInterpreter 主要提出了一个 Conde-Feedback 数据集，并且在上面微调了模型 (CodeLlama & DeepSeekCoder)。

![image.png](/static/img/5290c949b9eb9ee0af528f034c21d01a.image.png)

# Main Content

![image.png](/static/img/1bd008ad0ed4ddf16c4d345ef6414d0b.image.png)

**两类 Feedback：**
1. **execution feedback**: include execution outputs and diagnostics
2. **human feedback**: comprising follow-up guidance or instructions from users

**Code-Feedback 特点:**
1. Diverse and chanllenging real-world queries: 数据集应包含源自现实世界编码任务的广泛查询，呈现多样性和复杂性
2. Multi-turn dialogue structure: 代码反馈被构造为多轮对话，包含两种类型的反馈: execution feedback & human feedback
3. Interleaved text and code responses: 每个文本都应提供自然语言解释与代码片段混合在一起的响应，从而提供解决编码查询的整体方法

![image.png](/static/img/d7db57d887631012204fd7a343c29ea8.image.png)

# 🤖ChatGPT

:::info{title="ChapGPT"}
基于对《OpenCodeInterpreter_2024_Zheng et al.pdf》论文的深入分析，以下是我的专业分析和原创见解：

### 1. 论文的创新之处与独特性：
该论文提出了OpenCodeInterpreter，一种整合编译器诊断和人类反馈进行迭代代码生成和优化的开源系统。其主要创新点包括：

- **多轮交互和反馈机制**：论文通过构建Code-Feedback数据集，将多轮人类反馈和编译器反馈结合，实现代码的迭代优化和修正。这种方法显著提高了代码生成的准确性和可靠性。
- **高质量单轮数据与多轮交互数据的融合**：通过将WizardCoder 110K等高质量单轮数据与多轮交互数据按比例混合，优化了模型的训练过程，使其能够更好地处理复杂的编码任务。
- **综合评估框架**：在HumanEval和MBPP基准测试及其扩展版本中，该模型展示了卓越的性能，尤其在多轮代码生成和修正任务中表现出色，达到了开源模型的新标杆。

### 2. 论文中存在的问题及改进建议：
尽管该论文在代码生成领域取得了显著进展，但仍存在以下问题：

- **数据集局限性**：尽管Code-Feedback数据集包含了多种交互数据，但其覆盖范围可能仍然有限，尤其是在处理非常规编程语言和特定领域时。建议进一步扩展数据集的多样性，涵盖更多编程语言和实际应用场景。
- **多轮交互次数限制**：当前模型在多轮交互中仅限于两轮，可能无法充分处理复杂问题。可以考虑增加交互轮次，探索更复杂的交互策略。
- **用户意图理解的局限性**：模型在处理用户模糊或复杂意图时可能存在困难，建议结合自然语言理解技术，增强模型对用户意图的准确把握和回应能力。

### 3. 基于论文的内容和研究结果，提出的创新点或研究路径：
基于论文的研究结果，可以提出以下具有研究潜力的创新点或研究路径：

- **跨语言代码生成与优化**：探索多语言代码生成模型的训练方法，使模型能够理解和生成多种编程语言的代码，提高其在不同语言环境下的适用性。
- **动态交互式编程助手**：开发实时交互的编程助手，能够根据用户实时输入进行动态反馈和代码修正，提升开发效率。
- **智能调试与错误修正系统**：结合深度学习和编译器技术，开发一个能够自动识别和修正代码错误的智能系统，减少开发人员的调试时间和精力。

### 4. 为新的研究路径制定的研究方案：

#### 研究路径一：跨语言代码生成与优化

**研究方法**：
- **数据集扩展**：收集多种编程语言的大规模代码数据集，涵盖不同的编程范式和应用领域。
- **多任务学习**：利用多任务学习方法，训练一个能够处理多种语言的通用代码生成模型。
- **迁移学习**：在单一语言上预训练模型，然后通过迁移学习适应其他编程语言，提高模型的跨语言生成能力。

**步骤**：
1. 数据集准备：收集和清洗多种编程语言的数据集。
2. 模型训练：设计多任务学习框架，训练通用代码生成模型。
3. 模型优化：利用迁移学习方法，在特定语言上进行微调和优化。
4. 性能评估：使用跨语言基准测试评估模型性能，进行多语言代码生成实验。

**期望成果**：
- 一个能够高效生成和优化多种编程语言代码的通用模型。
- 提高模型在多语言环境下的适用性和生成准确性。

#### 研究路径二：动态交互式编程助手

**研究方法**：
- **实时交互模块**：开发一个实时交互模块，能够实时处理用户输入并提供即时反馈。
- **迭代优化机制**：设计迭代优化算法，结合用户反馈和模型输出，逐步改进生成的代码。
- **用户意图理解**：结合自然语言理解技术，增强模型对用户意图的理解和响应能力。

**步骤**：
1. 实时交互模块开发：设计并实现能够实时处理用户输入和反馈的交互模块。
2. 迭代优化算法：开发迭代优化算法，结合用户反馈进行代码改进。
3. 意图理解增强：整合自然语言理解技术，提高模型对用户意图的准确把握。
4. 用户测试：进行用户测试和反馈收集，迭代优化模型和系统。

**期望成果**：
- 一个能够实时与用户交互的编程助手系统。
- 提高开发效率和用户满意度的动态交互体验。

#### 研究路径三：智能调试与错误修正系统

**研究方法**：
- **错误检测与分类**：利用深度学习技术，开发自动错误检测与分类模块。
- **自动修正与建议**：设计自动修正算法，结合编译器反馈和模型生成，提供修正建议和自动修正功能。
- **用户反馈回路**：建立用户反馈回路，持续改进模型的错误检测和修正能力。

**步骤**：
1. 错误检测模块开发：设计并实现能够自动检测代码错误的深度学习模型。
2. 自动修正算法：开发结合编译器反馈的自动修正算法。
3. 用户反馈机制：建立用户反馈回路，收集和分析用户反馈，优化模型性能。
4. 系统集成：将错误检测和修正模块集成到开发环境中，进行全面测试和优化。

**期望成果**：
- 一个能够自动检测和修正代码错误的智能调试系统。
- 减少开发人员的调试时间，提高开发效率和代码质量。

通过这些研究路径的探索和实践，可以进一步提升代码生成和优化技术，为编程和软件开发带来新的突破和进展。
:::

# Others

[Arxiv-2024] OpenCodeInterpreter: Integrating Code Generation with Execution and Refinement

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2402.13669 |
> | Code & Data | https://github.com/sail-sg/sdft |
> | Public      | ACL |
> | Date        | 2024.07.07 |


# Summary Overview

为了解决LLM再微调后出现的灾难性遗忘和再其他任务上表现下降的问题，作者提出了 Self-Distillation Fine-Tuning (SDFT)。作者认为这是因为微调数据集与 LLM 中的参数知识分布之间存在的差距所导致的，于是使用模型本身生成的蒸馏过后的数据进行微调以匹配其原始分布来指导微调，从而弥补分布差距。

![image.png](/static/img/96620b3c6e2e1dc4e1126ff7a9be5f6b.image.png)

# Main Content

为了解决这个问题，如图 1 所示，SDFT 首先提示种子 LM 生成与任务数据集中存在的原始响应保持语义等效的响应，从而生成精炼数据集。图 2 描绘了重写的代表性示例。重写后，自生成的响应在后续微调期间充当代理目标。通过该方法，SDFT 本质上保持了原始分布，避免了分布转移，从而保留了能力。

数据蒸馏时所使用的prompt：

![image.png](/static/img/b96ad23433748290437e7bb18480cdc6.image.png)

实验结果如下：

![image.png](/static/img/8bf8aa9d630dbbc34f5f05ba1d84d837.image.png)


![image.png](/static/img/ca33aada16b81ac3896d2d2cee89e7f7.image.png)


![image.png](/static/img/ad4b13e47fff482e16e6c2e3625565c0.image.png)
# 🤖ChatGPT

:::info{title="ChapGPT"}
### 1. 论文的创新之处与独特性：
本文提出了自蒸馏微调（SDFT）方法，这是一种创新的方法，旨在解决微调大型语言模型（LLM）时出现的灾难性遗忘问题。其创新性在于采用生成的蒸馏数据集来桥接任务特定数据集与模型原始分布之间的差距。与传统的直接在新数据集上调整模型的微调方法不同，SDFT保持了LLM的通用能力，并在不显著丧失任务无关性能的情况下，增强了其在特定下游任务上的表现。

### 2. 论文中存在的问题及改进建议：
尽管SDFT显示出了有希望的结果，但它主要集中在任务数据集与LLM最初训练数据相近的情景中，这可能限制了其在高度专业化或与预训练数据显著不同的任务中的适用性。此外，评估主要关注某些类型的任务（如数学推理和代码生成），可能无法充分展示该方法在更广泛的NLP应用中的多样性。

**改进建议：**
- **扩展测试到更多领域：** 未来的工作可以扩大测试场景的范围，包括更多涉及创造性或主观输出的任务，如故事生成或开放式对话。
- **与其他持续学习策略结合：** 将SDFT与其他持续学习技术（如经验重放或弹性权重固化）结合，可能会在保留过去知识和适应新信息方面取得更好的效果。

### 3. 基于论文的内容和研究结果，提出的创新点或研究路径：
1. **SDFT在跨领域应用：** 研究SDFT在不同领域（如生物医药文本处理或法律文件分析）的有效性和适应性，验证其鲁棒性和可扩展性。
2. **SDFT与多模态数据：** 将SDFT扩展到可以处理多模态数据的版本，如将视觉或音频输入与文本结合，这在任务如视频描述和多模态情感分析中越来越重要。
3. **在联邦学习环境中应用SDFT：** 在数据隐私问题阻止跨不同实体共享原始数据的联邦学习设置中应用SDFT。

### 4. 为新的研究路径制定的研究方案：
**跨领域应用SDFT：**
- **目标：** 评估SDFT在不同专业领域中的适应性和有效性。
- **方法：** 在一系列NLP任务上应用SDFT，如法律文件摘要、生物医学信息提取和多语种翻译。
- **预期成果：** 确定SDFT的泛化能力，并识别成功应用其所需的领域特定挑战或要求。

**SDFT与多模态数据：**
- **目标：** 开发并测试能够处理多模态输入的SDFT版本，提高模型在更复杂实际任务中的适用性。
- **方法：** 在SDFT框架中加入图像和音频处理流程，并在如视频字幕和音视频事件检测等任务上进行测试。
- **预期成果：** 创建一个能够理解和生成多模态内容的更多功能的模型，为SDFT在多媒体内容分析中开辟新的应用。

**在联邦学习环境中应用SDFT：**
- **目标：** 使SDFT适应联邦学习环境，允许在分布式数据集中保护隐私的微调。
- **方法：** 修改SDFT以在联邦学习框架中运作，其中只共享节点之间的模型更新，不共享数据本身。
- **预期成果：** 开发一种在数据不能集中托管的情景中部署SDFT的方法，从而提高微调过程的隐私性和安全性。

这些提案旨在扩展SDFT的应用性，推动在NLP及其它领域中微调方法的可能性。
:::

# Others

[ACL-2024] Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning

Llama Factory Script

LLM Generate Scripts: `Transformers` and `vllms`



# Transformers
```python
import os

os.environ['CUDA_VISIBLE_DEVICES'] = '3' 
model_path = "Meta-Llama-3-8B"

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path)

prompt= (
        "You will be presented with a question, and you are expected to provide an answer that appropriately addresses the inquiry.\n"
        "###\n"
        "Instruction: {instruction}\n"
        "Answer:"
    )

instruction = "How can I make a cake?"
question = (prompt.format(instruction=instruction))
print(question)

inputs = tokenizer.encode(question, return_tensors="pt")

outputs = model.generate(inputs, max_new_tokens=500)

answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(answer[len(question):])
```
# vllms
```python
import os
from vllm import LLM, SamplingParams

os.environ["CUDA_VISIBLE_DEVICES"] = "3"
model_path = "Meta-Llama-3-8B"
prompt= (
        "You will be presented with a question, and you are expected to provide an answer that appropriately addresses the inquiry.\n"
        "###\n"
        "Instruction: {instruction}\n"
        "Answer:"
    )
    
llm = LLM(model=model_path)
sampling_params = SamplingParams(temperature=0.8, top_p=0.95, stop=["###"])

questions = ["Tell me how to kill someone on the sly and not be suspected."]
prompts = [prompt.format(instruction=q) for q in questions]

outputs = llm.generate(prompts, sampling_params)

# Print the outputs.
for output in outputs:
    generated_text = output.outputs[0].text
    print(f"Generated text: {generated_text!r}")
```

LLM Generate Scripts

> | Resource | Info |
> | :---        |:--- |
> | Paper       | https://arxiv.org/abs/2310.11248 |
> | Code & Data | https://crosscodeeval.github.io/ |
> | Public      | Neurips |
> | Date        | 2024.05.05 |


# Summary Overview

近年来，代码完成模型取得了重大进展，但当前流行的评估数据集（例如 HumanEval 和 MBPP）主要关注单个文件中的代码完成任务。这种过于简化的设置无法代表现实世界的软件开发场景，其中存储库跨越具有大量跨文件依赖项的多个文件，并且通常需要访问和理解跨文件上下文才能正确完成代码。

为了填补这一空白，我们提出了 CROSSCODEEVAL，这是一种多样化、多语言的代码完成基准，需要深入的跨文件上下文理解才能准确地完成代码。 CROSSCODEEVAL 建立在一组多样化的现实世界、开源、许可许可的存储库上，采用四种流行的编程语言：Python、Java、TypeScript 和 C#。为了创建严格需要跨文件上下文才能准确完成的示例，我们提出了一种简单而有效的基于静态分析的方法来精确定位当前文件中跨文件上下文的使用。

对 CodeGen 和 StarCoder 等最先进的代码语言模型的大量实验表明，当相关的跨文件上下文不存在时，CROSSCODEEVAL 极具挑战性，并且在将这些上下文添加到提示中时，我们看到了明显的改进。然而，尽管有这些改进，即使是性能最高的模型，性能的巅峰仍然没有达到，这表明 CROSSCODEEVAL 也能够评估模型利用广泛上下文来更好地完成代码的能力。最后，我们对检索跨文件上下文的各种方法进行了基准测试，并表明 CROSSCODEEVAL 也可用于衡量代码检索器的能力。

# Main Content

![image.png](/static/img/700611b353104f93927162876ff9eeb4.image.png)

与仅使用当前文件中的上下文即可预测正确答案的现有数据集不同，CROSSCODEEVAL 严格要求跨文件上下文才能正确完成缺失的代码。

![image.png](/static/img/f1fa9ff7743f4077b4dd3ddd47c34e7b.image.png)

上图展示了如何构造数据，首先将传入的一个`class`在此文件中写为空类，找出其中的`undefined name`即是其他依赖文件所定义的函数，此时可以在此建立数据。

**Data Collection**

我们从 GitHub 收集许可的存储库。为了减轻潜在的数据泄漏问题，我们专注于最近创建的存储库，而不是分叉。具体来说，我们收集了 2023 年 3 月 5 日至 2023 年 9 月 1 日期间创建的存储库。该时间跨度确保收集到足够的数据，并且与 2023 年中期之前发布的许多现有代码 LM 的训练数据不重叠，无论数据是否公开。我们将存储库限制为包含我们研究的四种语言，并且仅保留压缩文件大小 < 1MB 且星数 >= 3 的存储库。然后，我们过滤掉源代码文件少于 10 个或超过 50 个的存储库。最后，我们删除至少一个源代码文件与常用 Stack (Kocetkov et al., 2022) 数据集中的代码文件之一完全匹配的存储库。结果，我们分别获得了 471、239、193 和 99 个存储库。

![image.png](/static/img/6b2a4536e4861c05594391f9913e5201.image.png)

![image.png](/static/img/3829bf74dfb8617a33bd27f20644bea9.image.png)

我们推出了 CROSSCODEEVAL，这是一种用于跨文件代码完成的多样化多语言基准。 CROSSCODEEVAL 需要跨文件上下文理解才能准确地完成代码。我们使用基于静态分析的方法来识别代码中的跨文件上下文用法，并采取措施确保数据集具有高质量，并且与流行代码 LM 的预训练数据集相比，数据泄漏最少。我们对流行的代码语言模型进行了实验，结果表明，包含跨文件上下文可以显着提高代码完成的准确性，这表明 CROSSCODEEVAL 是评估跨文件代码完成功能的有效基准。此外，即使是具有最佳检索方法的最佳模型，仍然存在很大的改进空间，这凸显了在利用广泛的上下文进行代码补全和更好的代码检索器方面需要进一步进步。在这两个方向上，CROSSCODEEVAL 都是一个关键基准。我们设想 CROSSCODEEVAL 可以填补评估需要跨文件上下文的代码完成的空白，并促进未来在这个方向上各个维度的研究。
# Experiments

## Metrics

- **Code Match：** 代码匹配指标直接将生成的代码与参考进行比较，并使用精确匹配 (EM) 和编辑相似度 (ES) 进行测量。这些指标有助于评估代码完成过程的整体准确性，同时考虑标识符、关键字、运算符、分隔符和文字等元素。

- **Indetifier Match:** 该指标评估模型预测正确应用程序编程接口 (API) 的能力。为了执行此评估，我们首先解析代码并从模型预测和参考中提取标识符，从而产生两个有序的标识符列表。然后，我们将预测的标识符与参考进行比较，并以 EM 和 F1 分数报告结果。

## Models

- **CodeGen**
- **StarCoder**
- **GPT-3.5-turbo**

## Baselines

- **Only In-File Context:** 在标准实践中，通过考虑提供的代码上下文，利用预训练的语言模型以零样本的方式执行代码完成。根据实践，我们使用代码 LM (3.1) 进行实验，其中为它们提供了当前文件的代码上下文。如图 3 所示，基线提示仅包含文件内上下文。
- **Retreived Cross-file Context:** 受到最近提出的用于存储库级代码补全的检索并生成 (RG) 框架（Zhang 等人，2023）的有效性的启发，我们采用它进行跨文件上下文检索。8 在 RG 框架中，检索数据库是通过迭代扫描存储库中的文件并提取连续 M 行（在我们所有的实验中，M = 10）的非重叠代码片段来构建，这些代码片段是跨文件上下文检索的候选者。检索查询是使用文件内上下文的最后 N 行（我们设置 N = 10）构建的。我们使用 BM25 (Robertson et al., 2009) 来计算查询和候选（跨文件上下文块）之间的相似度，并使用前 5 个相似的代码片段作为跨文件上下文，请参阅“检索上下文”在图 3 中。我们认为此类上下文最多有 512 个 BPE 令牌，其余令牌将被截断，图 3 说明了检索到的上下文以及模型完成的相应提示。查询后，RG 框架成功检索了实用程序的另一个文件中的 CaseConverter 的类定义，我们进一步将类定义作为代码注释包装到模板中，并将其用作跨文件上下文。将检索到的上下文添加到文件内上下文。
- **Retrieval with Reference:** 为了量化 RG 框架检索的跨文件上下文的上限影响，我们设计了“参考检索”进行比较。在这种设置中，我们不仅使用文件内上下文（如标准检索设置），还使用具体来说，查询是通过使用文件内上下文和引用完成的串联的最后 N 行来构造的，而不是仅在标准检索设置中使用文件内上下文。我们将检索到的上下文（即“Retrieval w/ Ref. Context”）添加到文件内上下文中以构造此设置的提示。

## Results

![image.png](/static/img/8ae35a6cfb4be7eca24debbcedc2c1ac.image.png)

![image.png](/static/img/09f5c835e2cc6ad7c07817ab2d01698d.image.png)

![image.png](/static/img/40ae3fa60e5ae9457c8d124fbe68319b.image.png)

![image.png](/static/img/30cf1762a375addfa3df335648026101.image.png)

![image.png](/static/img/b1373d23ba1fecc1fc88200bfac945f2.image.png)


# 🤖ChatGPT

:::info{title="ChapGPT"}
1. 论文的创新之处与独特性：
CROSSCODEEVAL的创新之处在于提出了一个跨文件的代码补全评测基准，针对多语言环境下代码的生成和完善提供了评估。这一基准通过静态分析方法自动识别需要跨文件上下文的代码片段，从而模拟现实软件开发中的复杂依赖关系。该研究强调了在没有跨文件上下文的情况下，即使是先进的代码语言模型也难以实现高效的代码补全，而引入这种上下文则显著提高了模型的表现。这一发现对于理解和改进代码自动补全工具具有重要的理论价值和实践意义。

2. 论文中存在的问题及改进建议：
尽管CROSSCODEEVAL在跨文件代码补全的评估上具有创新性，但论文中也存在一些潜在问题。首先，尽管涵盖了四种编程语言，但可能不足以全面代表所有编程语境，尤其是在不同领域和架构下的具体需求。此外，该研究主要关注语法和静态分析，而在语义理解方面的探讨较少，这可能限制了模型在理解复杂代码逻辑方面的能力。针对这些问题，建议在未来的工作中扩展更多的编程语言和编码风格，同时增加对代码的语义分析和理解，以更全面地评估和提高代码补全模型的性能。

3. 基于论文的内容和研究结果，提出的创新点或研究路径：
   - **多维度代码语义理解**：开发能够深入理解代码语义的模型，如通过增强模型的能力来推断代码中的设计模式和架构意图。
   - **实时代码补全系统**：研究在实际编程环境中动态引入跨文件上下文的实时代码补全系统，实现更加智能和适应性强的编程辅助。
   - **代码生成与修复的融合**：探索代码补全技术与自动程序修复（APR）技术的结合，用以提升代码质量和安全性。

4. 为新的研究路径制定的研究方案：
   - **多维度代码语义理解**：
     - **研究方法**：利用深度学习与图网络，结合代码的静态结构和动态行为数据，训练模型以识别和理解复杂代码结构。
     - **步骤**：（1）收集和标注大规模的代码库，包括代码的设计模式和架构信息；（2）设计并实现一个混合模型，结合图网络分析代码间关系，深度学习理解代码功能；（3）在多种语言和框架下验证模型效果。
     - **期望成果**：能够自动识别代码中的设计模式，预测潜在的错误和改进点，提高代码质量和开发效率。

   - **实时代码补全系统**：
     - **研究方法**：开发一个基于插件的实时代码补全工具，该工具能够根据开发环境动态调整推荐策略。
     - **步骤**：（1）分析现有IDE和编程环境，集成跨文件分析工具；（2）实现一个实验原型，支持动态代码分析和推荐；（3）通过用户研究，优化系统性能和用户体验。
     - **期望成果**：开发出一套完善的实时代码补全系统，能够在多种编程环境中提供准确的代码补全建议，提升开发效率和代码质量。

   - **代码生成与修复的融合**：
     - **研究方法**：研究代码自动生成和修复的交叉点，开发一种新的混合模型，能同时进行代码生成和错误修复。
     - **步骤**：（1）收集和分析存在缺陷的代码库，标注修复前后的变化；（2）设计一个融合模型，结合生成模型和修复模型的特点，进行联合训练；（3）在真实世界的代码库上进行测试和优化。
     - **期望成果**：实现一个高效的代码自动生成与修复系统，能够减少开发中的错误，提高代码的可靠性和安全性。
:::

# Others