Python开源日志库Loguru



日志打印比`print()`方式更容易debug。
安装命令：`pip install loguru`
loguru中最重要的就是`add()`函数：此函数应用于注册接收器，接收器负责管理使用记录字典上下文化的日志消息。接收器可以采用多种形式：简单函数、字符串路径、类似文件的对象、协程函数或内置处理程序。请注意，您还可以`remove()`使用添加时返回的标识符来添加以前添加的处理程序。如果要取代默认`stderr`处理程序，这将特别有用：只需调用 `logger.remove()`即可重新开始。

## 简单使用
```python
from loguru import logger

logger.debug("This is a debug message")
logger.info("This is an info message")
logger.warning("This is a warning message")
logger.error("This is an error message")
```

![image.png](/static/img/f9fefbbf2626c31944a5d1d07fd8c28d.image.png)

## 格式化日志
类似于f-string的语法，格式化输出日志，但是个人感觉系统默认的就挺好看的了。
```python
import sys
from loguru import logger

logger.remove()     #清空之前设定的logger

logger.add(
    sys.stdout,
    level="INFO",
    format="{time:YYYY-MM-DD HH:mm:ss} | {level} | {module}:{function}:{line} - {message}!",
)

logger.error("This is an error message")
```

![image.png](/static/img/78db8d06790e69cfd157fd0dc8c6f7c6.image.png)

## 日志保存
在loguru中使用add方法中指明输出到的文件名即可达到目的，本例中是输出到`info.log`
```python
from loguru import logger

logger.add(
    'info.log',
    format="{time:YYYY-MM-DD HH:mm:ss} | {level} | {module}:{function}:{line} - {message}",
    level="INFO",
)

def main():
    logger.debug("This is a debug message")
    logger.info("This is an info message")
    logger.warning("This is a warning message")
    logger.error("This is an error message")

if __name__ == "__main__":
    main()
```

`loguru`中也支持自动计时创建文件。
```python
logger.add("file_{time}.log")
```
## 日志轮换
日志轮换指通过定期创建新的日志文件并归档或删除旧的日志来防止日志变得过大
```python
logger.add("file_1.log", rotation="500 MB")    # Automatically rotate too big file
logger.add("file_2.log", rotation="12:00")     # New file is created each day at noon
logger.add("file_3.log", rotation="1 week")    # Once the file is too old, it's rotated

logger.add("file_X.log", retention="10 days")  # Cleanup after some time

logger.add("file_Y.log", compression="zip")    # Save some loved space
```
## 日志筛选
日志筛选指根据特定条件有选择的控制应输出与保存哪些日志信息
在loguru中，可以简单地使用lambda函数来过滤日志
```python
from loguru import logger

# logger.remove()
logger.add("test.log", filter=lambda x: "Cai Xukong" in x["message"], level="INFO")

def main():
    logger.info("Hello Cai Xukong")
    logger.info("Bye Cai Xukong")
    logger.info("撒撒")

if __name__ == "__main__":
    main()
```
## 捕获异常
在`loguru`中，通过显示包含变量值的完整堆栈跟踪来方便用户识别。
```python
from loguru import logger

def division(a, b):
    return a / b

def nested(c):
    try:
        division(1, c)
    except ZeroDivisionError:
        logger.exception("ZeroDivisionError")

if __name__ == "__main__":
    nested(0)
```

![image.png](/static/img/b0489747fccd5c817d74fd69764d5ec3.image.png)
可以使用`catch()`装饰器/上下文管理器来解决，它确保任何错误都正确地传播到 `logger`。
```python
from loguru import logger

def division(a, b):
    return a / b

@logger.catch
def nested(c):
    division(1, c)

if __name__ == "__main__":
    nested(0)
```

![image.png](/static/img/bacc1a692460037c3f9fe22bacf48278.image.png)

Loguru: Python Module

Rich 是一个 Python 库，可以为您在终端中提供富文本和精美格式。



Rich 的 API 让在终端输出颜色和样式变得很简单。此外，Rich 还可以绘制漂亮的表格、进度条、markdown、语法高亮的源代码以及栈回溯信息（tracebacks）等——开箱即用。

以下所有信息转自：[Rich官方markdown](https://github.com/textualize/rich/blob/master/README.cn.md)

## print 功能

```python
from rich import print

print("Hello, [bold magenta]World[/bold magenta]!", ":vampire:", locals())
```

![](https://raw.githubusercontent.com/textualize/rich/master/imgs/print.png)

## Rich Inspect

Rich 提供一个 inspect 函数来给任意的 Python 对象打印报告，比如类（class）、实例（instance）和内置对象（builtin）等。

```Pyhton
my_list = ["foo", "bar"]
from rich import inspect
inspect(my_list, methods=True)
```

`rich.inspect(obj, *, console=None, title=None, help=False, methods=False, docs=True, private=False, dunder=False, sort=True, all=False, value=True)`
```plaintext
Inspect any Python object.
 
-   inspect(<OBJECT>) to see summarized info.
-   inspect(<OBJECT>, methods=True) to see methods.
-   inspect(<OBJECT>, help=True) to see full (non-abbreviated) help.
-   inspect(<OBJECT>, private=True) to see private attributes (single underscore).
-   inspect(<OBJECT>, dunder=True) to see attributes beginning with double underscore.
-   inspect(<OBJECT>, all=True) to see all attributes.
Parameters:
    - obj (Any) – An object to inspect.
    - title (str, optional) – Title to display over inspect result, or None use type. Defaults to None.
    - help (bool, optional) – Show full help text rather than just first paragraph. Defaults to False.
    - methods (bool, optional) – Enable inspection of callables. Defaults to False.
    - docs (bool, optional) – Also render doc strings. Defaults to True.
    - private (bool, optional) – Show private attributes (beginning with underscore). Defaults to False.
    - dunder (bool, optional) – Show attributes starting with double underscore. Defaults to False.
    - sort (bool, optional) – Sort attributes alphabetically. Defaults to True.
    - all (bool, optional) – Show all attributes. Defaults to False.
    - value (bool, optional) – Pretty print value. Defaults to True.
    - console (Optional[Console]) –
Return type: None
```

![](https://github.com/textualize/rich/raw/master/imgs/inspect.png)

## 表格 (Tables)

```Python
from rich.console import Console
from rich.table import Column, Table

console = Console()

table = Table(show_header=True, header_style="bold magenta")
table.add_column("Date", style="dim", width=12)
table.add_column("Title")
table.add_column("Production Budget", justify="right")
table.add_column("Box Office", justify="right")
table.add_row(
    "Dec 20, 2019", "Star Wars: The Rise of Skywalker", "$275,000,000", "$375,126,118"
)
table.add_row(
    "May 25, 2018",
    "[red]Solo[/red]: A Star Wars Story",
    "$275,000,000",
    "$393,151,347",
)
table.add_row(
    "Dec 15, 2017",
    "Star Wars Ep. VIII: The Last Jedi",
    "$262,000,000",
    "[bold]$1,332,539,889[/bold]",
)

console.print(table)
```

![](https://github.com/textualize/rich/raw/master/imgs/table.png)

## 进度条 (Progress Bar)

用法和`tqdm`很相似

![image.png](https://github.com/textualize/rich/raw/master/imgs/progress.gif)

### Basic Usage

```Python
import time
from rich.progress import track

for i in track(range(20), description="Processing..."):
    time.sleep(1)  # Simulate work being done
```

### Advanced Usage
```Python
import time

from rich.progress import Progress

with Progress() as progress:

    task1 = progress.add_task("[red]Downloading...", total=1000)
    task2 = progress.add_task("[green]Processing...", total=1000)
    task3 = progress.add_task("[cyan]Cooking...", total=1000)

    while not progress.finished:
        progress.update(task1, advance=0.5)
        progress.update(task2, advance=0.3)
        progress.update(task3, advance=0.9)
        time.sleep(0.02)
```

## 树 (Tree)
Rich 可以渲染一个包含引导线的树（tree）。对于展示文件目录结构和其他分级数据来说，树是理想选择。

树的标签可以是简单文本或任何 Rich 能渲染的东西。执行以下命令查看演示：

```Python
"""
Demonstrates how to display a tree of files / directories with the Tree renderable.
"""

import os
import pathlib
import sys

from rich import print
from rich.filesize import decimal
from rich.markup import escape
from rich.text import Text
from rich.tree import Tree


def walk_directory(directory: pathlib.Path, tree: Tree) -> None:
    """Recursively build a Tree with directory contents."""
    # Sort dirs first then by filename
    paths = sorted(
        pathlib.Path(directory).iterdir(),
        key=lambda path: (path.is_file(), path.name.lower()),
    )
    for path in paths:
        # Remove hidden files
        if path.name.startswith("."):
            continue
        if path.is_dir():
            style = "dim" if path.name.startswith("__") else ""
            branch = tree.add(
                f"[bold magenta]:open_file_folder: [link file://{path}]{escape(path.name)}",
                style=style,
                guide_style=style,
            )
            walk_directory(path, branch)
        else:
            text_filename = Text(path.name, "green")
            text_filename.highlight_regex(r"\..*$", "bold red")
            text_filename.stylize(f"link file://{path}")
            file_size = path.stat().st_size
            text_filename.append(f" ({decimal(file_size)})", "blue")
            icon = "🐍 " if path.suffix == ".py" else "📄 "
            tree.add(Text(icon) + text_filename)


try:
    directory = ''
except IndexError:
    print("[b]Usage:[/] python tree.py <DIRECTORY>")
else:
    tree = Tree(
        f":open_file_folder: [link file://{directory}]{directory}",
        guide_style="bold bright_blue",
    )
    walk_directory(pathlib.Path(directory), tree)
    print(tree)
```
会产生类似于下面的输出：
![](https://github.com/textualize/rich/raw/master/imgs/tree.png)

Rich: Python Module

time_script.py

> | Resource | Info |
> | :---        |:--- |
> | Paper       | http://arxiv.org/abs/2312.15685 |
> | Code & Data | https://github.com/hkust-nlp/deita |
> | Public      | ICLR |
> | Date        | 2024.04.21 |


# Summary Overview

最近的研究表明数据工程在指令调整中的关键作用——如果选择得当，只需有限的数据即可实现卓越的性能。然而，对于什么是好的指令调整数据以进行对齐，以及我们应该如何自动有效地选择数据，我们仍然缺乏原则性的理解。在这项工作中，我们深入研究了用于对齐的自动数据选择策略。我们从对照研究开始，跨三个维度测量数据：复杂性、质量和多样性，同时我们检查现有方法并引入增强数据测量的新技术。随后，我们提出了一个简单的策略来根据测量选择数据样本。我们提出了 DEITA（Data-Efficient Instruction Tuning for Alignment）。

# Main Content

指令调优或监督微调 (SFT) 使用带注释的指令数据细化预训练模型，通常作为 RLHF 之前的基础步骤，以促进模型的初始对齐。

![image.png](/static/img/f6bbf456bf5ac66a5a89e581825edebf.image.png)

我们的数据选择策略简单而有效，为数据高效的指令调整范例铺平了道路——可以自动选择更少的训练样本，从而获得与在更大的数据集上训练的模型相当甚至超越的性能。

**THE DATA SELECTION PROBLEM**

形式上，给定一个大型指令调整数据池，$X=\{x_1,x_2,\cdots,x_n\}$，其中$x_i$表示指令-响应对形式的单个数据样本。我们的目标是使用$\pi$表示的选择策略从$X$中选择大小为$m$的子集$S_\pi^{(m)}$。$m$是子集大小，与指令调整中消耗的计算量成比例相关，因此我们也将$m$称为数据预算。通常，我们定义一个指标来评估数据并根据该指标选择数据样本。将指令调优后的对齐性能表示为$Q$，数据预算为$m$的最优数据选择策略$\pi^*$满足

$$
\pi^*=\arg\max_\pi Q(S_\pi^{(m)}).
$$

$X_{sota}$和$X_{base}$

![image.png](/static/img/72509540484ce77aaaea4e265e1db83d.image.png)

**FROM THE COMPLEXITY PERSPECTIVE - EVOL COMPLEXITY**

Baselines: Random Selection, Instruction Length, Perplexity, Direct Scoring, Instruction Node, Instag Complexity, IFD

**Evol Complexity**: 受到Evol-Instruct的启发，提出EVOL COMPLEXTITY，一种基于进化的复杂性度量。首先收集一个小规模种子数据集，$D=\{(I_{1}^{(0)},R_{1}^{(0)}),\cdots,(I_{N}^{(0)},R_{N}^{(0)})\}$，$(I_{k}^{(0)},R_{k}^{(0)})$表示指令-响应对。对于每个指令样本$I_k^{(0)}$，我们使用Xu等人提出的In-Depth Evolving Prompt。通过增加约束、深化、具体化和增加推理步骤等技术来增强复杂性。经过$M$次迭代后，我们获得了$I_k$的一组不同复杂度的指令，$\{I_k^{(0)},\cdots,I_k^{(M)}\}$。这里将$M$设置为5，总共获得6中变化。

如图 1 左侧所示，然后我们要求 ChatGPT 对这 6 个样本进行排序和评分（附录 E.2 中提示），得到指令对应的复杂度分数 c。我们强调，与直接评分不同，我们在一个提示中给 ChatGPT 所有 6 个样本 - 这些样本代表同一原始样本的不同进化阶段，这样的评分方案有助于 ChatGPT 捕获它们之间微小的复杂性差异，从而产生复杂性分数以实现样本之间更细粒度的复杂性区分。我们发现这一点至关重要，否则，ChatGPT 倾向于为大多数示例分配相似的分数，如附录 B 中所示。在小种子数据集上获得 ChatGPT 分数后，我们使用这些分数来训练 LLaMA-1 7B 模型进行预测给定输入指令的复杂性分数。在多回合对话的情况下，我们对每一回合单独评分，并将它们的总和作为最终分数。在本文的实验中，我们使用从 Alpaca 数据集（Taori et al., 2023）中随机采样的 2K 个示例作为种子数据集。

表 2 展示了使用各种复杂性指标从 Xsota 和 Xbase 选择 6K 数据样本的结果。我们的 Evol-Complexity 指标可在 MT-bench 上实现最佳对齐性能。我们观察到，虽然 Instag Complexity 在 Xsota 上表现良好，但它在 Xbase 上的性能仅比 Random Selection 稍好一些。相比之下，EVOL COMPLEXITY 在两个数据集上都实现了卓越的性能，表明在不同数据集池上具有很强的鲁棒性。此外，与严重依赖 ChatGPT 注释的方法（例如直接评分和指令节点）相比，我们的方法具有显着的优势。实验结果还表明，指令长度并不是对齐首选数据的良好指标。有趣的是，困惑度（一种直观的复杂性衡量标准）产生的结果比随机选择基线差得多。通过进一步的调查，我们发现具有大困惑度的样本通常表现出非常短的响应。

![image.png](/static/img/f50e6f40f969e2cef0aebf4abae0ae15.image.png)

**FROM THE QUALITY PERSPECTIVE - EVOL QUALITY**

Baselines: Random Selection，Response Length，Direct Scoring

**Evol Quality**: 以类似于EVOL COMPLEXITY的方式，我们引入EVOL QUALITY来增强质量测量的辨别力。对于给定的数据样本$(I_k^{(0)},R_k^{(0)})$，我们提示ChatGPT以进化的方式提升响应的质量。这主要涉及增强帮助性、增强相关性、丰富深度、培养创造力和提供额外细节。经过$M$次迭代后，对于相同的指令$I_k^{(0)}$，我们获得了一组$R_k$的各种质量响应，表示为$\{R_k^{(0)},\cdots,R_k^{(M)}\}$。与EVOL COMPLEXITY类似，我们将$M$设置为5。

表3给出了分别从Xsota和Xbase中选择前6K数据的实验结果。所提出的 EVOL QUALITY 方法始终表现出卓越的对准性能。我们注意到，具有较高质量方差的池 Xbase 更容易受到质量指标的影响，这是直观的，因为此类池中存在许多低质量的示例，并且会严重损害性能。这一结果意味着质量是一个需要考虑的必要维度，尤其是在处理包含大量低质量示例的数据池时。我们还观察到响应长度与最终比对性能正相关，但对于已经高质量的数据集（例如 Xsota），其影响并不显着

![image.png](/static/img/8c51f1728730670e24c0a9bb85ea5b1e.image.png)

**FROM THE DIVERSITY PERSPECTIVE - AN EMBEDDING-BASED APPROACH**

![image.png](/static/img/141f98f932c1254aa65d09e8416308f6.image.png)

![image.png](/static/img/fd4c10052e7d89c436e8e5b1565c8fc0.image.png)
在本文中，我们彻底研究了什么是适合对齐的良好数据的问题。我们的研究包括三项对照研究，涵盖三个维度：复杂性、质量和多样性。在这些研究中，我们提出了自动数据选择的新方法，并在选定的数据样本上训练我们的模型 DEITA。实验结果表明，DEITA 能够在 10 倍训练样本的情况下实现优于或媲美最先进开源模型的性能。我们向其他人发布我们选择的数据，以便更有效地调整模型。


# Experiments

## Results


![image.png](/static/img/27537552b4dccb534f234f4f5e619ad5.image.png)

![image.png](/static/img/64290b1614ae3c3ccc3fc9a7f129c691.image.png)

![image.png](/static/img/ec28e05c4c96d40f566dbdc0b98f2613.image.png)
**Data Scaling:**

![image.png](/static/img/ac46a77aeef54329d81b3c85b4a2aebf.image.png)

## Case Study

# 🤖ChatGPT

:::info{title="ChapGPT"}
### 论文的创新之处与独特性：

论文探索了如何在指令调整（instruction tuning）过程中自动选择数据，以提高大型语言模型（LLMs）与人类偏好的对齐质量。主要创新包括：
1. **三维数据评估框架**：首次提出通过复杂性（complexity）、质量（quality）、和多样性（diversity）三个维度来评估数据集，这为数据选择提供了新的理论依据。
2. **自动数据选择策略DEITA**：开发了一种新的数据效率指令调整方法（Data-Efficient Instruction Tuning for Alignment, DEITA），该方法使用远少于基线模型的数据样本数目（6K vs. 60K），但能达到相当甚至更优的性能。
3. **实证验证**：通过与现有最先进模型的比较，实证显示DEITA模型在多个评价指标上具有竞争力，特别是在数据效率上的优势明显。

### 论文中存在的问题及改进建议：

1. **数据维度的独立性**：论文中虽然提出了三维评估数据的方法，但并未充分探讨这些维度之间的相互影响及其独立性。建议进一步研究这些维度的关联性，以更精确地指导数据选择。
2. **样本多样性的实证研究不足**：虽然论文提到了多样性在数据选择中的重要性，但在实验设计中缺少对多样性本身如何影响模型性能的直接测试。可以设计实验来验证不同多样性级别对性能的具体影响。
3. **更广泛的实验验证**：DEITA方法主要与开源对齐模型进行了比较，可能缺乏与商业模型或不同类型的数据集进行比较的视角。建议在未来的研究中包括更多种类的数据集和对比模型，以全面验证方法的通用性和鲁棒性。

### 基于论文的内容和研究结果，提出的创新点或研究路径：

1. **交叉维度数据优化**：开发一种新的数据选择框架，该框架能够同时考虑复杂性、质量和多样性的交叉影响，使用机器学习算法来预测不同数据维度组合的最优配置。
2. **动态数据选择机制**：构建一个动态数据选择机制，能够根据模型在训练过程中的表现逐步调整数据选择的策略，实现更精细化的训练过程控制。
3. **多模态数据对齐优化**：研究如何将DEITA框架扩展到多模态数据（例如文本与图像），探索多模态场景下的数据选择和模型对齐问题。

### 为新的研究路径制定的研究方案：

1. **交叉维度数据优化研究方案**：
   - **研究方法**：使用统计和机器学习方法来分析不同数据维度的相互作用，并建立预测模型。
   - **步骤**：首先通过实验确定各维度的独立影响，然后构建多元回归模型来预测组合影响，最后通过交叉验证优化模型参数。
   - **期望成果**：发展出一种新的理论模型，能够指导实际的数据选择工作，优化模型的数据效率和性能。

2. **动态数据选择机制研究方案**：
   - **研究方法**：实现一个基于反馈循环的动态调整框架，利用实时性能反馈调整数据选择策略。
   - **步骤**：设计实验以收集中间训练结果，使用这些数据反馈调整数据选择算法，逐步优化数据集的结构。
   - **期望成果**：开发出一个能够自适应调整的数据选择系统，显著提高模型训练的效率和效果。

3. **多模态数据对齐优化研究方案**：
   - **研究方法**：探索和实现多模态数据集的同步处理和优化策略。
   - **步骤**：首先标定不同模态的数据特征和性能影响，然后开发同步处理算法，最后通过模拟实验测试算法效果。
   - **期望成果**：形成一套多模态数据处理的新方法，能够有效提升不同数据类型的整合和模型训练的对齐质量。
:::

# Others

[ICLR-2024] What Makes Good Data for Alignment? A Comprehensive Study of Automatic Data Selection in Instruction Tuning

bypy - Python client for Baidu Yun (Personal Cloud Storage) 百度云/百度网盘Python客户端


仓库：https://github.com/houtianze/bypy

安装命令：
```shell
pip install bypy
```
**基本操作**

显示使用帮助和所有命令（英文）:
```shell
bypy
```
第一次运行时需要授权，只需跑任何一个命令（比如 bypy info）然后跟着说明（登陆等）来授权即可。授权只需一次，一旦成功，以后不会再出现授权提示.

更详细的了解某一个命令：
```shell
bypy help <command>
```
显示在云盘（程序的）根目录下文件列表：
```shell
bypy list
```

:::note{title="注"}
注意：使用同步操作同步文件时，同名文件会直接进行覆盖
:::

把当前目录同步到云盘：
```shell
bypy syncup
```
or
```shell
bypy upload
```
把云盘内容同步到本地来：
```shell
bypy syncdown
```
or
```shell
bypy downdir /
```
比较本地当前目录和云盘（程序的）根目录（个人认为非常有用）：
```
bypy compare
```

在网盘中的路径如下：

![image.png](/static/img/d6b6c8010b28c61cb0aab8e3eada7666.image.png)