Python文件监控：实时检测目录变化

引言 / 什么是文件监控

在自动化办公场景中，实时监控目录变化是常见需求：当新文件到达时自动备份、当日志更新时触发分析、当配置文件修改时立即重启服务……传统轮询方式效率低下且易遗漏事件，而Python的watchdog库通过操作系统级事件通知机制，能以毫秒级响应速度捕获文件系统的创建、修改、删除等操作。

作为Python生态中最成熟的文件监控解决方案，watchdog支持跨平台（Windows/macOS/Linux），提供灵活的事件过滤机制，已被Airflow、DVC等知名工具集成。本文将通过完整代码示例，演示如何用50行代码构建一个实时文件监控系统。

准备工作

环境要求

• Python 3.6+
• 推荐使用虚拟环境：`python -m venv venv`
• 安装watchdog库：`pip install watchdog`

版本说明

• watchdog 2.3.0+ 支持异步IO监控
• 旧版本可通过pip install "watchdog>=2.0"升级

基础操作 / 核心用法

步骤一：创建基础监控器

from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

class MyHandler(FileSystemEventHandler):
    def on_created(self, event):
        print(f"文件创建: {event.src_path}")

    def on_modified(self, event):
        print(f"文件修改: {event.src_path}")

    def on_deleted(self, event):
        print(f"文件删除: {event.src_path}")

if __name__ == "__main__":
    path = "./watch_folder"  # 监控目录
    event_handler = MyHandler()
    observer = Observer()
    observer.schedule(event_handler, path, recursive=True)  # recursive=True监控子目录
    observer.start()
    try:
        while True:
            pass
    except KeyboardInterrupt:
        observer.stop()
    observer.join()

提示：首次运行时需先创建watch_folder目录，否则会抛出FileNotFoundError。可通过os.makedirs(path, exist_ok=True)自动创建。

步骤二：理解事件对象

FileSystemEvent对象包含关键属性：

示例：过滤特定文件类型

def on_created(self, event):
    if not event.is_directory and event.src_path.endswith('.csv'):
        print(f"发现新CSV文件: {event.src_path}")

进阶技巧

技巧一：实现自动备份功能

import shutil
from datetime import datetime

class BackupHandler(FileSystemEventHandler):
    def __init__(self, backup_dir):
        self.backup_dir = backup_dir

    def on_created(self, event):
        if not event.is_directory:
            timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
            filename = f"{timestamp}_{event.src_path.split('/')[-1]}"
            backup_path = f"{self.backup_dir}/{filename}"
            shutil.copy2(event.src_path, backup_path)
            print(f"已备份至: {backup_path}")

# 使用示例
handler = BackupHandler("./backup")
observer.schedule(handler, "./source_files")

技巧二：处理移动/重命名事件

class MoveHandler(FileSystemEventHandler):
    def on_moved(self, event):
        if event.is_directory:
            print(f"目录移动: {event.src_path} -> {event.dest_path}")
        else:
            print(f"文件移动: {event.src_path} -> {event.dest_path}")

# 需在Observer配置中启用move事件（默认已启用）

技巧三：使用PatternMatchingEventHandler

对于复杂过滤需求，可使用内置的PatternMatchingEventHandler：

from watchdog.events import PatternMatchingEventHandler

patterns = ["*.log", "*.txt"]
ignore_patterns = ["*.tmp"]
ignore_directories = False
case_sensitive = True

event_handler = PatternMatchingEventHandler(
    patterns, ignore_patterns, ignore_directories, case_sensitive
)

event_handler.on_created = lambda event: print(f"匹配文件创建: {event.src_path}")

常见问题

Q：监控大量文件时性能下降怎么办？

A：1. 关闭递归监控（recursive=False）
2. 使用queue实现异步处理：

from queue import Queue
import threading

class AsyncHandler(FileSystemEventHandler):
    def __init__(self):
        self.queue = Queue()
        threading.Thread(target=self.process_events, daemon=True).start()

    def on_any_event(self, event):
        self.queue.put(event)

    def process_events(self):
        while True:
            event = self.queue.get()
            print(f"处理事件: {event.event_type}")

Q：Windows系统报错PermissionError？

A：1. 以管理员身份运行脚本
2. 检查目标目录是否被其他程序锁定
3. 添加异常处理：

try:
    # 监控代码
except PermissionError:
    print("无权限访问目录，请检查权限设置")

Q：如何监控网络共享目录？

A：1. Windows：使用UNC路径（\\server\share\folder）
2. Linux：挂载共享目录到本地路径
3. 添加网络延迟处理：

import time
from watchdog.observers.polling import PollingObserver

# 替代Observer使用PollingObserver（性能较低但兼容性好）
observer = PollingObserver()
observer.schedule(handler, path, time.sleep=1.0)  # 设置轮询间隔

小结

本文通过基础监控器、事件过滤、自动备份等案例，展示了watchdog库的核心用法。关键要点包括：

1. 继承FileSystemEventHandler实现自定义事件处理
2. 通过Observer配置监控路径和递归选项
3. 使用PatternMatchingEventHandler简化文件过滤
4. 异步处理提升高并发场景性能

完整代码示例已包含在各章节中，建议读者：

1. 先运行基础监控器验证环境
2. 逐步添加自动备份等业务逻辑
3. 根据实际需求调整事件过滤规则

对于企业级应用，可结合logging模块实现监控日志持久化，或使用multiprocessing实现多目录并行监控。watchdog的灵活架构支持从简单脚本到复杂分布式系统的各种场景。