Scrapy下导入airflow模块引起的日志故障分析

在Scrapy项目中导入airflow模块后,日志输出出现异常,主要表现为重复记录和不同的日志级别。分析发现,airflow的日志配置与Scrapy的根日志记录器配置冲突,导致日志处理流程受到影响。最终,重复输出的原因是两个项目级别的日志配置混合在一起,影响了日志的处理效率和输出格式。

2024年8月15日 · 8 分钟 · 3774 字 · Leo

豆瓣书影音报告——2023年度

2024年1月1日 · 0 分钟 · 0 字 · Leo

马自达3昂克赛拉2017运动版自行加装CarPlay记录

2023年4月5日 · 0 分钟 · 0 字 · Leo

豆瓣书影音报告——2022年度

2023年1月1日 · 0 分钟 · 0 字 · Leo

(译)在Python中如何使用生成器和yield

翻译自RealPython教程。教程中通过回文数字生成展示了如何使用Python生成器和生成器表达式;在PEP-342 yield 升级为表达式后如何使用send、throw、close方法来与生成器交互;以及如何构建生成器管道来高效处理大型数据集。

2022年9月28日 · 17 分钟 · 8207 字 · Leo

浅谈Python线程安全

GIL并不能保证线程安全,谈谈Python线程安全带来的问题现象,通过 dis.dis() 模块从字节码执行流程分析其造成原因。

2022年3月10日 · 6 分钟 · 2875 字 · Leo

这就是老家的丘陵地貌哇

自从没在老家生活后,每年回家都是新样子。马路修到了庭院门口,邻居家致富起了高楼,村里面晃荡没几个人认识。无人机拍下来的这片地貌也陌生得不得了。

2022年2月7日 · 1 分钟 · 56 字 · Leo

豆瓣书影音报告——2021年度

2022年1月1日 · 0 分钟 · 0 字 · Leo

布隆过滤器简述与Python实现

对比常见的简单单机去重方案,体现出Bit-Map用于去重时的优势和劣势以及其应用场景,进而引出空间效率高的概率型数据结构——布隆过滤器。对比布隆过滤器的关键指标对去重精度和内存影响。并借用公式使用Python bitarray实现了一个简易的布隆过滤器。

2021年3月1日 · 6 分钟 · 2881 字 · Leo

豆瓣书影音报告——2020年度

前言 2020 年开始在豆瓣上记录观影。 观影量较大,标记了很多曾经看过的影片。 链接 我的豆瓣 2020 年度书影音报告

2021年1月1日 · 1 分钟 · 48 字 · Leo