从RSS订阅加Feedparser自动抓取50个英文博客花一个月搭出日均采集3000篇文章的自动化流水线：中间被Cloudflare盾拦过被百度飓风3.0清空过索引被CMS官方邮件警告过，跑通的方案和你想象的完全不一样

先说结论

多站点内容批量采集这件事，最值钱的不是采集器本身，是你对"采集边界"的认知。市面上从免费到几万的工具，功能差距远没有你想的那么大——后羿免费版一天采几千条毫无压力，Scrapy + Playwright能处理99%的反爬场景。真正拉开差距的是三个问题：第一，你采的内容有没有版权风险？第二，你采回来之后打算怎么用——直接发布等于给百度送降权，加了改写和编排后才有可能变成资产；第三，你的采集频率和并发量有没有控制好，超过目标站的反爬阈值就是自爆。

# multi_site_spider.py - Scrapy多站点内容采集器import scrapyfrom scrapy.spiders import CrawlSpider, Rulefrom scrapy.linkextractors import LinkExtractorimport jsonfrom datetime import datetimeclass MultiSiteContentSpider(CrawlSpider):name = 'multi_site_content'# 多站点配置：从JSON文件加载，方便动态管理def __init__(self, *args, **kwargs):super().__init__(*args, **kwargs)with open('sites_config.json', 'r', encoding='utf-8') as f:self.sites = json.load(f)def start_requests(self):for site in self.sites:yield scrapy.Request(url=site['start_url'],callback=self.parse_article_list,meta={'site_config': site},dont_filter=True)def parse_article_list(self, response):site = response.meta['site_config']# 根据站点配置提取文章链接links = response.css(site['list_selector']).getall()for link in links[:site.get('max_pages', 50)]:yield response.follow(link,callback=self.parse_article,meta={'site_config': site})# 翻页next_page = response.css(site.get('next_page_selector', '')).get()if next_page:yield response.follow(next_page, callback=self.parse_article_list,meta={'site_config': site})def parse_article(self, response):site = response.meta['site_config']yield {'source': site['name'],'url': response.url,'title': response.css(site['title_selector']).get(),'content': ''.join(response.css(site['content_selector']).getall()),'date': response.css(site.get('date_selector', '')).get(),'crawled_at': datetime.now().isoformat(),}

[{"name": "站点A-科技博客","start_url": "https://example-blog.com/tech","list_selector": "article h2 a::attr(href)","title_selector": "h1.article-title::text","content_selector": "div.article-body p::text","date_selector": "time.publish-date::text","next_page_selector": "a.next-page::attr(href)","max_pages": 30,"delay": 2.0},{"name": "站点B-行业资讯","start_url": "https://news-site.com/latest","list_selector": "div.news-item a::attr(href)","title_selector": "h1::text","content_selector": "div.content p::text","delay": 3.0}]

from playwright.sync_api import sync_playwrightimport asyncioimport jsonclass JSRenderScraper:def __init__(self, sites_config):self.sites = sites_configself.results = []def scrape_site(self, browser, site):page = browser.new_page()# 模拟真实浏览器指纹page.set_extra_http_headers({'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8','User-Agent': site.get('ua','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36')})page.goto(site['start_url'], wait_until='networkidle', timeout=30000)# 等待内容加载（处理无限滚动）for _ in range(site.get('scroll_times', 3)):page.evaluate('window.scrollTo(0, document.body.scrollHeight)')page.wait_for_timeout(2000)# 提取文章列表articles = page.query_selector_all(site['article_selector'])for article in articles[:site.get('max_articles', 20)]:try:title_el = article.query_selector(site['title_selector'])link_el = article.query_selector(site['link_selector'])if title_el and link_el:self.results.append({'source': site['name'],'title': title_el.inner_text(),'url': link_el.get_attribute('href'),})except Exception as e:print(f"提取失败: {e}")page.close()def run(self):with sync_playwright() as p:browser = p.chromium.launch(headless=True)for site in self.sites:self.scrape_site(browser, site)browser.close()return self.results

import feedparserimport jsonfrom datetime import datetime# 50个RSS源配置feeds = [{'name': 'TechCrunch',  'url': 'https://techcrunch.com/feed/'},{'name': 'HackerNews',  'url': 'https://hnrss.org/frontpage'},{'name': '知乎热榜',    'url': 'https://www.zhihu.com/rss'},# ... 更多RSS源]all_articles = []for feed in feeds:d = feedparser.parse(feed['url'])for entry in d.entries:all_articles.append({'source': feed['name'],'title': entry.get('title', ''),'link': entry.get('link', ''),'summary': entry.get('summary', ''),'published': entry.get('published', ''),'fetched_at': datetime.now().isoformat(),})# 去重 + 按时间排序seen = set()unique_articles = []for a in sorted(all_articles, key=lambda x: x['published'], reverse=True):if a['link'] not in seen:seen.add(a['link'])unique_articles.append(a)print(f"从{len(feeds)}个RSS源采集到{len(unique_articles)}篇去重文章")

一个关键原则：不要和反爬机制硬刚

如果你发现某个站上了Cloudflare 5秒盾+recaptcha+行为分析三重防线，说明对方根本就不想被采集。这时候最好的策略不是找更高级的绕过方案，而是换一个数据源——找同主题的其他站、找RSS、找API。和反爬机制对抗的成本是无限的，而换个数据源可能只需要10分钟。

三条保命规则

1. 遵守robots.txt：采集前先看目标站的 robots.txt，如果Disallow了你要采的路径，就不要采。这是最基本的互联网礼仪，也是很多国家法律判定"是否构成未经授权访问"的依据。
2. 控制频率和并发：即使robots.txt允许，也要把请求频率控制在合理范围内（单站每分钟不超过10-20次请求），不要对目标服务器造成负担。大量请求导致对方服务器宕机，在部分国家可以构成计算机破坏罪。
3. 采事实不采表达：事实数据（统计数字、产品参数）不受版权保护，但"文章的表达方式"受版权保护。采回来做素材、提取事实再创作没问题，原文照搬发布就侵权。

代理IP策略

对于需要代理IP的场景，免费的公开代理90%已经进了各大网站的黑名单，用了反而更容易被封。建议：低频采集（<500篇/天）用自家宽带IP+长间隔即可，无需代理；中频采集用付费住宅代理（如Bright Data的住宅IP，按流量计费，约$15/GB）；高频采集才需要搭配代理池轮换。记住一个铁律：代理IP的质量比数量重要，10个干净的住宅IP比1000个进了黑名单的数据中心IP有效得多。