掌握API爬虫需先定位目标接口，使用浏览器开发者工具分析XHR请求，获取URL、参数及请求头信息；接着用Python的requests库模拟请求，携带必要的User-Agent、Referer或Authorization等头部信息；成功响应后通过response.json()解析JSON数据；针对频率限制、身份验证、加密参数等反爬机制，应合理设置延时、处理认证并还原加密逻辑；最后将提取的数据保存为JSON、CSV文件或存入数据库。整个过程高效稳定，是进阶爬虫的核心技术。

抓取网站API数据是Python爬虫中非常高效的方式，相比解析HTML页面，直接调用API能更快速、准确地获取结构化数据。掌握调用和解析API接口的方法，是进阶爬虫开发的关键一步。

确认目标API接口

很多现代网站通过JavaScript动态加载内容，实际数据来自后端API。要抓取这些数据，先要找到对应的请求地址。

• 打开浏览器开发者工具（F12），切换到“Network”选项卡
• 刷新页面或触发数据加载操作，观察出现的XHR或Fetch请求
• 查找返回JSON格式数据的请求，这类通常是API接口
• 点击请求查看“Headers”中的请求方式、URL、请求头（User-Agent、Referer等）以及参数

例如，一个商品列表页可能从https://www./link/55ff3e8766bfb3f0f8174d957ad082d3?page=1获取数据，这就是你可以直接调用的接口。

使用requests发起API请求

Python中requests库是最常用的HTTP请求工具。构造与浏览器一致的请求，才能成功获取数据。

import requests
url = "https://www./link/55ff3e8766bfb3f0f8174d957ad082d3"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Referer": "https://www./link/632e3ccec223290601ef00e26aa62bd0",
"Authorization": "Bearer your_token"  # 如果需要认证
}
params = {
"page": 1,
"limit": 20
}
response = requests.get(url, headers=headers, params=params)
if response.status_code == 200:
data = response.json()  # 直接解析为Python字典
print(data)

注意：某些接口需要登录或携带token，需在请求头中添加Cookie或Authorization字段。

处理常见限制和反爬机制

API接口虽结构清晰，但也常设有访问限制。

• 频率限制：避免高频请求，可使用time.sleep()控制请求间隔
• 身份验证：部分API需OAuth、Token或签名，需按文档规则生成合法请求
• 加密参数：有些接口参数经过加密（如sign、timestamp），需分析JS代码还原算法
• IP封禁：长时间运行建议使用代理IP池，requests支持通过proxies参数设置

对于复杂加密逻辑，可结合PyExecJS执行JavaScript代码，或使用selenium模拟浏览器行为获取临时token。

解析和保存数据

API通常返回JSON格式，Python内置json()方法即可解析。提取所需字段后，可保存为本地文件或存入数据库。

import json
import csv
解析数据
for item in data['items']:
product = {
"id": item['id'],
"name": item['name'],
"price": item['price']
}
保存为JSON
with open('products.json', 'a', encoding='utf-8') as f:
    f.write(json.dumps(product, ensure_ascii=False) + '\n')

# 或写入CSV
with open('products.csv', 'a', newline='', encoding='utf-8') as f:
    writer = csv.DictWriter(f, fieldnames=product.keys())
    writer.writerow(product)

建议根据数据量选择合适的存储方式，小数据用文件，大数据推荐数据库如MongoDB或MySQL。
基本上就这些。关键在于精准定位API、模拟合法请求、合理处理反爬，再结构化解析返回内容。只要接口可用，这种方式比HTML解析稳定高效得多。