Python网络爬虫入门：从零开始学爬虫
想要学习Python网络爬虫却不知从何入手？本文将带你从基础开始，了解爬虫原理，掌握基本语法，并通过简单案例让你快速上手，开启爬虫之旅！
引言 / 什么是网络爬虫
在互联网时代，数据已成为重要的资源。网络爬虫（Web Crawler）是一种自动获取网页内容的程序，它通过模拟浏览器访问网页，提取所需数据并存储或分析。无论是搜索引擎的索引构建、电商价格监控，还是社交媒体的数据分析，网络爬虫都扮演着关键角色。
Python因其简洁的语法和丰富的库支持，成为网络爬虫开发的首选语言。通过Python，你可以快速实现一个功能完整的爬虫，即使没有编程基础也能轻松入门。本文将从爬虫原理讲起，逐步介绍Python爬虫的基础语法和实战案例，帮助你迈出爬虫开发的第一步。
爬虫原理与基本流程
网络爬虫的核心流程可分为以下四步：
- 发送请求：通过HTTP协议向目标网站发送请求，获取网页内容。
- 解析内容：从返回的HTML、JSON等数据中提取所需信息。
- 存储数据：将提取的数据保存到文件或数据库中。
- 处理反爬：应对网站的反爬机制（如验证码、IP限制等）。
以爬取天气信息为例，爬虫会先访问天气网站的API或网页，解析返回的JSON或HTML数据，提取温度、湿度等信息，最后存储到本地或数据库中。
准备工作
在开始编写爬虫前，需安装以下工具和库：
- Python环境：建议使用Python 3.6+版本。
- 开发工具：推荐使用PyCharm或VS Code。
- 依赖库：
requests：发送HTTP请求。BeautifulSoup或lxml：解析HTML内容。json：处理JSON数据（Python内置库）。
安装命令：
pip install requests beautifulsoup4 lxml
基础操作：使用requests库获取网页
步骤一：发送HTTP请求
requests库是Python中最常用的HTTP库，支持GET、POST等请求方法。以下是一个简单的GET请求示例：
import requests
url = "https://www.example.com"
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
print("请求成功！")
print(response.text[:200]) # 打印前200个字符
else:
print(f"请求失败，状态码：{response.status_code}")
代码解释：
requests.get(url)：发送GET请求到指定URL。response.status_code：返回HTTP状态码（200表示成功）。response.text：返回网页的文本内容（字符串类型）。
步骤二：处理请求参数
许多网站需要通过参数传递信息（如搜索关键词）。requests支持通过params参数传递字典类型的查询字符串：
params = {
"q": "Python爬虫",
"page": 1
}
response = requests.get("https://www.example.com/search", params=params)
print(response.url) # 输出：https://www.example.com/search?q=Python爬虫&page=1
步骤三：设置请求头
部分网站会检测请求头（User-Agent）以识别爬虫。通过设置headers模拟浏览器访问：
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get(url, headers=headers)
提示：可通过浏览器开发者工具（F12）查看真实请求的请求头信息。
解析网页内容
获取网页内容后，需从中提取所需数据。常用方法包括正则表达式、BeautifulSoup和lxml。
方法一：使用BeautifulSoup解析HTML
BeautifulSoup是一个易用的HTML/XML解析库，支持CSS选择器语法：
from bs4 import BeautifulSoup
html = """
<html>
<body>
<h1 class="title">Python爬虫教程</h1>
<p class="content">这是一篇关于Python爬虫的入门文章。</p>
</body>
</html>
"""
soup = BeautifulSoup(html, "html.parser")
title = soup.find("h1", class_="title").text
content = soup.find("p", class_="content").text
print(f"标题：{title}")
print(f"内容：{content}")
代码解释：
BeautifulSoup(html, "html.parser")：创建解析对象。soup.find(tag, class_=value)：查找第一个匹配的标签。.text：获取标签的文本内容。
方法二：使用lxml解析HTML
lxml是高性能的XML/HTML解析库，支持XPath语法：
from lxml import etree
html = """
<html>
<body>
<ul id="list">
<li>苹果</li>
<li>香蕉</li>
<li>橙子</li>
</ul>
</body>
</html>
"""
tree = etree.HTML(html)
items = tree.xpath('//ul[@id="list"]/li/text()')
print(items) # 输出：['苹果', '香蕉', '橙子']
代码解释：
etree.HTML(html)：将字符串解析为HTML树。tree.xpath(expression)：使用XPath表达式提取数据。
实战案例：爬取天气信息
以下是一个完整的爬虫案例，通过访问天气API获取数据并解析：
步骤一：选择目标API
以和风天气API为例（需注册获取API Key）：
https://devapi.qweather.com/v7/weather/now?location=101010100&key=YOUR_API_KEY
步骤二：发送请求并解析JSON
import requests
import json
# 替换为你的API Key
API_KEY = "YOUR_API_KEY"
url = f"https://devapi.qweather.com/v7/weather/now?location=101010100&key={API_KEY}"
response = requests.get(url)
data = response.json() # 直接解析为字典
if data["code"] == "200":
temp = data["now"]["temp"]
humidity = data["now"]["humidity"]
print(f"当前温度：{temp}℃")
print(f"湿度：{humidity}%")
else:
print("获取数据失败！")
步骤三：存储数据到文件
将结果保存到JSON文件：
with open("weather.json", "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False, indent=4)
print("数据已保存到weather.json")
完整代码：
import requests
import json
API_KEY = "YOUR_API_KEY"
url = f"https://devapi.qweather.com/v7/weather/now?location=101010100&key={API_KEY}"
response = requests.get(url)
data = response.json()
if data["code"] == "200":
temp = data["now"]["temp"]
humidity = data["now"]["humidity"]
print(f"当前温度：{temp}℃")
print(f"湿度：{humidity}%")
with open("weather.json", "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False, indent=4)
print("数据已保存到weather.json")
else:
print("获取数据失败！")
常见问题
Q：请求被拒绝（403错误）怎么办？
A：尝试添加请求头（如User-Agent），或检查目标网站是否需要登录。
Q：如何处理动态加载的内容？
A：动态内容通常通过JavaScript加载，可使用Selenium或Playwright模拟浏览器行为。
Q：爬虫是否合法？
A：爬取公开数据时需遵守目标网站的robots.txt协议，避免高频请求导致服务器负担。
小结
本文从爬虫原理讲起，介绍了Python爬虫的基础语法，包括requests库的使用、网页解析方法（BeautifulSoup/lxml），并通过一个天气信息爬取案例展示了完整流程。掌握这些知识后，你可以尝试爬取新闻、电商数据等更复杂的场景。
下一步建议：
- 学习反爬策略（如代理IP、验证码识别）。
- 掌握数据存储（MySQL、MongoDB）。
- 了解分布式爬虫框架（如Scrapy）。
立即动手实践吧！爬虫的世界充满无限可能。
💡 推荐阅读
Python爬虫数据存储与可视化分析
爬取到的数据如何存储与可视化分析？本文将教你使用Python将爬虫数据存储到数据库，并通过图表展示分析结果，让你的数据更加直观易懂！
Python爬虫实战：爬取电商平台商品信息
想要获取电商平台的商品信息却无从下手？本文将通过实战案例，教你使用Python爬虫爬取电商平台商品数据，包括价格、销量等，助你分析市场！
Python爬虫反爬策略与应对方法
爬虫经常遇到反爬机制怎么办？本文将揭秘常见反爬策略，并教你如何使用Python应对，让你的爬虫更加稳定高效，轻松突破反爬限制！
剪映模板素材哪里找？优质资源推荐
想要找到优质的剪映模板素材？本文为你推荐几个可靠的资源网站，让你轻松获取丰富多样的模板素材，提升视频制作水平。
手机进水后如何紧急处理？5步自救指南
手机意外落水别慌！掌握这5个紧急处理步骤，能大幅降低手机损坏风险，甚至可能让手机恢复如初。快来学习正确的自救方法吧！
Android通知历史记录：轻松回顾错过的消息
错过重要消息？Android通知历史记录来帮你！本文教你如何查看和管理通知历史记录，不再错过任何重要信息。
手机摄影专业模式全解析：轻松拍出大片感
手机摄影专业模式功能强大，但很多人不知如何使用。本文将详细介绍专业模式各项参数，从基础到进阶，让你快速上手，轻松拍出具有大片感的照片，提升摄影水平。
Excel数据透视表实战案例：销售数据分析
想要通过Excel数据透视表进行销售数据分析？本文将通过一个实战案例，教你如何运用数据透视表进行销售趋势分析、客户分类和产品分析等！
手机充电显示异常？解读与修复指南
手机充电时显示异常？本文解读常见显示问题，如不显示充电、电量跳变等，并提供修复方法，让你的手机充电显示恢复正常。
电脑开机无反应？5步排查法轻松解决
电脑按下电源键却毫无反应？别慌！本文教你5步排查法，从电源、主板到内存，逐步定位问题根源，轻松解决开机无反应的难题。
WPS演示图表制作技巧：数据可视化轻松搞定
数据太多难以呈现？本文将教你如何使用WPS演示制作图表，将复杂数据转化为直观图表，让观众一眼看懂数据背后的故事，提升演示说服力。
批量打印入门：如何快速设置打印任务？
批量打印能大幅提升效率，但设置起来却让不少人头疼。本文将带你从零开始，学习如何快速设置打印任务，掌握基础技巧，让打印变得轻松又高效。
剪映转场效果：如何让视频过渡更自然？
剪映转场效果大揭秘！本文将教你如何为视频添加转场效果，并调整转场的时长、方向等参数，让你的视频过渡更加自然流畅。
手机夜景拍摄全攻略：轻松拍出璀璨夜色
夜景拍摄是手机摄影的难点，但掌握技巧后也能拍出惊艳作品。本文将分享手机夜景拍摄的参数设置、构图技巧及实用小工具，助你轻松捕捉城市夜晚的璀璨与静谧。
iOS系统设置：如何快速关闭后台应用刷新？
后台应用刷新会悄悄消耗电量和流量，其实iOS系统设置里就能轻松关闭。本文将教你一步步操作，还能了解关闭后的影响，让你的iPhone更省电！
Excel动态图表制作指南：用控件实现数据联动
通过表单控件与动态公式结合，教你创建可交互的销售分析仪表盘，让数据随选择自动更新变化。
剪映贴纸高级技巧：自定义贴纸与动画效果
想要让贴纸更加个性化？剪映的自定义贴纸与动画效果功能来帮你！本文教你如何制作并应用自定义贴纸，以及添加动画效果。
OBS 录屏音频设置全攻略：清晰收录每一声
录屏时音频杂音大或声音小？本文为你提供 OBS 录屏音频设置全攻略，教你如何正确设置音频设备，清晰收录系统声音和麦克风声音，提升录屏音频质量。
AE预设应用指南：快速打造专业级视频
想要快速打造专业级视频？AE预设应用来帮你！本文将详细介绍AE预设的使用方法，让你轻松应用各种预设效果，提升视频质量。
机箱风道设计：优化散热，提升电脑性能
合理的机箱风道设计能显著提升电脑散热效果。本文将教你如何优化机箱风道，让电脑硬件在更佳的环境下运行，提升整体性能。