Python網絡爬蟲實戰 Scrapy與Beautiful Soup的使用及數據處理技巧

網絡爬蟲是獲取互聯網數據的重要工具，Python因其豐富的庫和簡潔的語法成為爬蟲開發的首選語言。在眾多爬蟲工具中，Scrapy和Beautiful Soup各具特色，結合使用能高效完成數據采集與處理任務。

一、Scrapy框架的使用

Scrapy是一個功能強大的爬蟲框架，適合大規模、結構化的數據采集。

1. 基礎架構

引擎(Engine)：控制數據流，協調各組件工作
調度器(Scheduler)：管理請求隊列
下載器(Downloader)：獲取網頁內容
爬蟲(Spider)：定義爬取邏輯和數據提取規則
項目管道(Pipeline)：處理提取的數據

2. 快速入門

`python import scrapy

class ExampleSpider(scrapy.Spider):
name = 'example'
start_urls = ['http://example.com']

def parse(self, response):
# 提取數據

title = response.css('h1::text').get()
yield {'title': title}

# 跟進鏈接

for link in response.css('a::attr(href)').getall():
yield response.follow(link, self.parse)
`

3. 高級特性

中間件：自定義請求/響應處理
Item Loader：結構化數據提取
Feed導出：支持JSON、CSV等多種格式
去重過濾：自動避免重復爬取

二、Beautiful Soup的使用

Beautiful Soup是靈活的HTML/XML解析庫，適合小規模或結構不規則的頁面。

1. 基礎解析

`python from bs4 import BeautifulSoup import requests

html = requests.get('http://example.com').text
soup = BeautifulSoup(html, 'lxml')

多種選擇器

soup.find('div', class='content')
soup.select('div.content > p')
soup.findall(text='特定文本')
`

2. 解析器選擇

lxml：速度快，容錯性好（推薦）
html.parser：Python內置，無需額外安裝
html5lib：容錯性最好，速度較慢

三、數據處理技巧

1. 數據清洗

`python import re from datetime import datetime

去除空白字符

def clean_text(text):
return re.sub(r'\s+', ' ', text).strip()

日期標準化

def normalizedate(datestr):
formats = ['%Y-%m-%d', '%d/%m/%Y', '%b %d, %Y']
for fmt in formats:
try:
return datetime.strptime(date_str, fmt).date()
except:
continue
return None
`

2. 數據驗證

`python import pandas as pd from cerberus import Validator

schema = {
'title': {'type': 'string', 'required': True},
'price': {'type': 'float', 'min': 0},
'url': {'type': 'string', 'regex': '^https?://'}
}

validator = Validator(schema)
if validator.validate(data):
# 數據有效

pass
`

3. 數據存儲

`python # 存儲到CSV

import csv
with open('data.csv', 'w', newline='', encoding='utf-8') as f:
writer = csv.DictWriter(f, fieldnames=fieldnames)
writer.writeheader()
writer.writerows(data_list)

存儲到數據庫

import sqlite3
conn = sqlite3.connect('data.db')
cursor = conn.cursor()
cursor.execute('''CREATE TABLE IF NOT EXISTS items
(title TEXT, price REAL, url TEXT)''')
`

四、數據處理服務設計

1. 服務架構

數據采集層(Scrapy/Requests) → 數據解析層(Beautiful Soup) →
數據處理層(清洗/驗證) → 數據存儲層(數據庫/文件) →
數據API層(RESTful接口)

2. 錯誤處理機制

網絡請求重試
解析失敗日志記錄
數據質量監控
異常數據隔離

3. 性能優化

`python # 使用aiohttp異步請求

import aiohttp
import asyncio

async def fetch(url):
async with aiohttp.ClientSession() as session:
async with session.get(url) as response:
return await response.text()

使用線程池

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor(maxworkers=10) as executor:
results = executor.map(processdata, data_list)
`

五、最佳實踐建議

遵守robots.txt：尊重網站爬取規則
設置合理延遲：避免對目標網站造成壓力
使用User-Agent：模擬真實瀏覽器訪問
處理反爬機制：合理使用代理IP和Cookie
數據去重：避免存儲重復數據
定期維護：更新選擇器，適應網站改版

六、完整示例：電商價格監控系統

`python import scrapy from bs4 import BeautifulSoup import pandas as pd from datetime import datetime

class PriceMonitorSpider(scrapy.Spider):
name = 'pricemonitor'

def startrequests(self):
urls = ['http://example.com/products']
for url in urls:
yield scrapy.Request(url, callback=self.parselist)

def parselist(self, response):
soup = BeautifulSoup(response.text, 'lxml')
products = soup.select('.product-item')

for product in products:
item = {
'name': product.selectone('.name').text.strip(),
'price': float(product.selectone('.price').text.replace('￥', '')),
'url': response.urljoin(product.selectone('a')['href']),
'crawltime': datetime.now().isoformat()
}
yield item

# 在settings.py中配置數據管道