Python自动化：如何遍历并处理目录中的文件

引言 / 什么是目录遍历自动化

在日常开发或数据处理任务中，我们经常需要批量处理某个目录下的所有文件，例如批量重命名、格式转换或内容分析。传统手动操作不仅效率低下，还容易出错。Python凭借其强大的文件系统操作能力，通过os和pathlib模块提供了多种目录遍历方案，可轻松实现自动化文件处理。

本文将系统讲解Python目录遍历的核心方法，包括：

• 基础遍历：os.listdir()与os.scandir()
• 递归遍历：os.walk()深度解析
• 现代方案：pathlib模块的优雅实现
• 实战案例：批量处理文件扩展名

准备工作

确保已安装Python 3.6+环境（推荐3.8+），无需额外安装库。测试环境建议准备一个包含多级子目录和多种文件类型的测试文件夹。

基础遍历方法

方法一：os.listdir() 快速获取文件列表

最基础的目录遍历方法，返回指定路径下的所有文件和子目录名（不包含路径信息）：

import os

dir_path = './test_folder'
for item in os.listdir(dir_path):
    full_path = os.path.join(dir_path, item)
    if os.path.isfile(full_path):
        print(f"文件: {full_path}")
    elif os.path.isdir(full_path):
        print(f"目录: {full_path}")

特点：

• 简单直接，适合单层目录
• 需手动拼接完整路径
• 无法直接区分文件/目录类型

方法二：os.scandir() 高效遍历（推荐）

Python 3.5+引入的改进方法，返回DirEntry对象，包含文件元信息：

with os.scandir('./test_folder') as entries:
    for entry in entries:
        if entry.is_file():
            print(f"文件: {entry.name} (大小: {entry.stat().st_size/1024:.1f}KB)")
        elif entry.is_dir():
            print(f"目录: {entry.name}")

优势：

• 性能比listdir()提升30%-50%
• 直接获取文件类型和元数据
• 支持上下文管理器自动关闭资源

递归遍历子目录：os.walk()详解

当需要处理嵌套子目录时，os.walk()是最强大的工具：

for root, dirs, files in os.walk('./test_folder'):
    print(f"\n当前目录: {root}")
    print(f"子目录: {dirs}")
    print(f"文件列表:")
    
    for file in files:
        file_path = os.path.join(root, file)
        print(f" - {file_path}")
        # 在此处添加文件处理逻辑

参数说明：

• topdown=True（默认）：从上到下遍历
• onerror=None：错误处理回调
• followlinks=False：是否跟踪符号链接

典型应用场景：

• 批量搜索特定文件
• 递归删除空目录
• 构建文件树结构

现代方案：pathlib模块（Python 3.4+）

面向对象的文件系统操作，代码更简洁易读：

from pathlib import Path

# 遍历所有文件（不包含子目录）
for file in Path('./test_folder').iterdir():
    if file.is_file():
        print(file.name)

# 递归遍历所有.txt文件
for txt_file in Path('./test_folder').rglob('*.txt'):
    print(f"找到文本文件: {txt_file}")
    # 处理文件内容
    with open(txt_file, 'r', encoding='utf-8') as f:
        content = f.read()

核心方法对比：

进阶技巧

技巧1：按文件属性过滤

# 查找大于1MB的.jpg文件
from pathlib import Path

for img in Path('./photos').rglob('*.jpg'):
    if img.stat().st_size > 1024*1024:
        print(f"大图: {img.name} ({img.stat().st_size/1024/1024:.1f}MB)")

技巧2：批量修改文件扩展名

import os
from pathlib import Path

source_dir = './documents'
for file in Path(source_dir).glob('*.doc'):
    new_file = file.with_stem(file.stem + '_backup').with_suffix('.docx')
    file.rename(new_file)
    print(f"重命名: {file} → {new_file}")

技巧3：并行处理文件（使用concurrent.futures）

import os
from concurrent.futures import ThreadPoolExecutor

def process_file(file_path):
    # 模拟耗时操作
    with open(file_path, 'r') as f:
        content = f.read().upper()
    with open(file_path, 'w') as f:
        f.write(content)

files_to_process = [os.path.join(root, f) 
                   for root, _, files in os.walk('./large_folder') 
                   for f in files if f.endswith('.txt')]

with ThreadPoolExecutor(max_workers=8) as executor:
    executor.map(process_file, files_to_process)

常见问题

Q：如何处理中文文件名乱码问题？

A：始终使用encoding='utf-8'参数打开文件，在Windows系统可能需要额外处理编码：

with open('中文文件.txt', 'r', encoding='utf-8-sig') as f:
    content = f.read()

Q：os.walk()和pathlib.rglob()性能差异大吗？

A：在简单场景下性能接近，但pathlib在以下情况更优：

• 需要频繁拼接路径时
• 代码可读性要求高时
• 使用现代Python特性（如类型提示）时

Q：如何跳过某些目录（如.git）？

A：在os.walk()中修改dirs列表：

for root, dirs, files in os.walk('./project'):
    dirs[:] = [d for d in dirs if not d.startswith('.')]
    # 处理文件...

使用pathlib时需手动过滤：

for path in Path('./project').rglob('*'):
    if path.is_dir() and path.name.startswith('.'):
        continue
    # 处理文件...

小结

Python提供了多种目录遍历方案，从基础的os.listdir()到现代化的pathlib，开发者应根据具体需求选择：

• 简单任务：os.scandir()
• 复杂目录结构：os.walk()
• 现代项目：pathlib

掌握这些方法后，可以轻松实现：

• 批量文件重命名
• 自动化格式转换
• 日志文件分析
• 多媒体文件整理

建议从pathlib开始实践，逐步掌握更复杂的文件操作模式。完整示例代码可在本文配套GitHub仓库获取。