Python爬虫数据存储与可视化分析

引言 / 什么是爬虫数据存储与可视化分析

在当今数据驱动的时代，网络爬虫已成为获取公开数据的重要工具。但仅获取数据远不够——如何高效存储并从中提取价值才是关键。例如，电商网站的价格监控需要长期存储商品数据，并通过折线图观察价格波动；新闻网站的内容分析需要存储文章并生成词云图展示热点关键词。

本文将系统讲解Python爬虫数据的完整处理流程：从数据存储（MySQL/MongoDB）到可视化分析（Matplotlib/Seaborn），并通过真实案例演示如何将爬取的豆瓣电影数据存储到数据库，并用图表展示评分分布与年份趋势。

准备工作

1. 环境配置：

   • Python 3.6+
   • 数据库：MySQL 8.0 或 MongoDB 5.0
   • 库安装：

     pip install pymysql pymongo matplotlib seaborn pandas requests
     

2. 数据源准备：

   • 示例使用豆瓣电影Top250页面（https://movie.douban.com/top250）
   • 需处理分页逻辑与反爬机制（如设置User-Agent和延迟）

核心数据存储方案

方案一：关系型数据库（MySQL）

适用场景：结构化数据、需要复杂查询（如按年份筛选电影）

import pymysql
from pymysql.cursors import DictCursor

# 创建数据库连接
conn = pymysql.connect(
    host='localhost',
    user='root',
    password='your_password',
    database='spider_db',
    charset='utf8mb4',
    cursorclass=DictCursor
)

# 创建表
with conn.cursor() as cursor:
    cursor.execute("""
    CREATE TABLE IF NOT EXISTS movies (
        id INT AUTO_INCREMENT PRIMARY KEY,
        title VARCHAR(100) NOT NULL,
        rating FLOAT,
        year INT,
        directors VARCHAR(200),
        quote TEXT
    )
    """)
conn.commit()

数据插入示例：

def save_to_mysql(movie_data):
    with conn.cursor() as cursor:
        sql = """
        INSERT INTO movies (title, rating, year, directors, quote)
        VALUES (%s, %s, %s, %s, %s)
        """
        cursor.execute(sql, (
            movie_data['title'],
            movie_data['rating'],
            movie_data['year'],
            ','.join(movie_data['directors']),
            movie_data['quote']
        ))
    conn.commit()

方案二：非关系型数据库（MongoDB）

适用场景：半结构化数据、快速开发（如存储包含嵌套字段的JSON数据）

from pymongo import MongoClient

# 连接MongoDB
client = MongoClient('mongodb://localhost:27017/')
db = client['spider_db']
collection = db['movies']

# 插入文档
def save_to_mongo(movie_data):
    collection.insert_one({
        'title': movie_data['title'],
        'rating': movie_data['rating'],
        'year': movie_data['year'],
        'directors': movie_data['directors'],
        'quote': movie_data['quote'],
        'crawl_time': datetime.now()
    })

对比表格：

数据可视化分析实战

基础图表绘制（Matplotlib）

场景：展示豆瓣电影评分分布

import matplotlib.pyplot as plt
import pandas as pd

# 从MySQL读取数据
def load_from_mysql():
    with conn.cursor() as cursor:
        cursor.execute("SELECT rating FROM movies")
        ratings = [row['rating'] for row in cursor.fetchall()]
    return ratings

ratings = load_from_mysql()

# 绘制直方图
plt.figure(figsize=(10, 6))
plt.hist(ratings, bins=10, edgecolor='black', alpha=0.7)
plt.title('豆瓣电影评分分布', fontsize=16)
plt.xlabel('评分', fontsize=12)
plt.ylabel('电影数量', fontsize=12)
plt.grid(axis='y', alpha=0.3)
plt.show()

高级可视化（Seaborn）

场景：分析电影年份与评分的关系

import seaborn as sns

# 从MongoDB读取数据并转换为DataFrame
def load_from_mongo():
    docs = list(collection.find({}, {'year': 1, 'rating': 1}))
    return pd.DataFrame(docs)

df = load_from_mongo()

# 绘制箱线图
plt.figure(figsize=(12, 6))
sns.boxplot(x='year', y='rating', data=df[df['year'] > 1990])
plt.title('1990年后电影评分年份分布', fontsize=16)
plt.xticks(rotation=45)
plt.tight_layout()
plt.show()

多图表组合展示

fig, axes = plt.subplots(1, 2, figsize=(16, 5))

# 子图1：评分TOP10电影
top_movies = pd.read_sql("""
    SELECT title, rating FROM movies 
    ORDER BY rating DESC LIMIT 10
""", conn)
sns.barplot(x='rating', y='title', data=top_movies, ax=axes[0])
axes[0].set_title('评分TOP10电影')

# 子图2：导演作品数量
directors_count = pd.read_sql("""
    SELECT directors, COUNT(*) as count 
    FROM movies GROUP BY directors 
    ORDER BY count DESC LIMIT 10
""", conn)
directors_count['directors'] = directors_count['directors'].str[:10] + '...'
sns.barplot(x='count', y='directors', data=directors_count, ax=axes[1])
axes[1].set_title('高产导演TOP10')

plt.tight_layout()
plt.show()

常见问题

Q：如何处理爬虫数据中的缺失值？

A：可视化前需清洗数据：

# 删除评分缺失的电影
df.dropna(subset=['rating'], inplace=True)

# 填充年份缺失值为0（根据业务需求）
df['year'].fillna(0, inplace=True)

Q：MySQL插入数据时报错"Duplicate entry"？

A：检查表是否设置唯一约束（如标题），可在插入前查询是否存在：

def is_exists(title):
    with conn.cursor() as cursor:
        cursor.execute("SELECT id FROM movies WHERE title=%s", (title,))
        return cursor.fetchone() is not None

Q：如何优化MongoDB查询性能？

A：为常用查询字段创建索引：

collection.create_index([('year', pymongo.ASCENDING)])

小结

本文通过完整案例演示了Python爬虫数据的全生命周期管理：

1. 存储方案：MySQL适合结构化查询，MongoDB适合快速迭代开发
2. 可视化技巧：Matplotlib基础绘图 + Seaborn高级统计图表
3. 关键步骤：数据清洗 → 存储优化 → 图表选型 → 组合展示

建议读者从简单项目开始实践，例如先爬取本地天气数据存储到SQLite，再用折线图展示温度变化。掌握这些技能后，你将能轻松应对电商价格监控、社交媒体舆情分析等真实业务场景。