百度搜索结果页批量提取标题和链接的三种方案对比：自己写Python爬虫跑不到第三页就跳验证码今天能用的CSS选择器明天就失效，商业API和在线工具能不能批量稳定跑才是我真正需要的答案

百度搜索结果页想批量提取标题和链接，除了自己写Python爬虫，还有更省心的工具吗？

上个月帮朋友做竞品分析，需要提取某个行业词在百度前5页的所有自然结果——标题、链接、摘要、排名位置。需求听起来简单，但真正做起来才发现问题一大堆：百度页面结构经常变，昨天能用的CSS选择器今天就失效了；查到第3页就跳出验证码；广告结果和自然结果混在一起分不清。前后折腾了两天，换了四种方案才跑通。

这件事让我意识到，百度搜索结果页的批量提取其实有三个层次的问题：能不能抓到（反爬问题）、抓到的是不是对的（解析精度问题）、能不能批量稳定跑（规模问题）。大部分人卡在第一层就放弃了，实际上后面两层才是真正决定提取质量的关键。

一、百度搜索结果页到底长什么样，哪些字段值得提取

先搞清楚一个基础问题：百度一个搜索结果页面上，到底有哪些数据可以提取？很多人以为就是标题+链接+摘要三件套，实际上可以提取的字段远比想象中多。

一个标准的百度自然搜索结果，至少包含以下可提取字段：结果标题（h3标签内的文本，通常带关键词标红）、真实URL（点击后跳转的目标地址）、摘要文本（标题下方的描述段落）、站点名称（链接下方显示的网站名）、发布时间（部分结果会展示发布日期）、百度快照链接（"百度快照"的跳转地址）、排名位置（第几页第几条）。

二、自己写Python爬虫，Requests+BeautifulSoup是最快的起步方式

如果你只需要偶尔提取少量关键词的搜索结果，Requests + BeautifulSoup这个组合完全够用，整个流程不超过100行代码。核心逻辑就四步：构造搜索URL、发请求拿HTML、用CSS选择器定位结果DOM、遍历提取字段。

构造搜索URL的格式是固定的：https://www.baidu.com/s?wd=关键词&pn=(页码-1)*10。其中wd是搜索词参数，pn控制分页偏移量，每页10条结果，第二页pn=10，第三页pn=20，以此类推。

import requestsfrom bs4 import BeautifulSoupimport timedef baidu_search(keyword, pages=5):results = []headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}for page in range(pages):url = f"https://www.baidu.com/s?wd={keyword}&pn={page*10}"resp = requests.get(url, headers=headers, timeout=10)soup = BeautifulSoup(resp.text, 'html.parser')# 定位自然结果容器（class可能随页面版本变化）for idx, item in enumerate(soup.select('.result.c-container')):title_tag = item.select_one('h3 a')if not title_tag:continueresults.append({'rank': page * 10 + idx + 1,'title': title_tag.get_text(strip=True),'baidu_url': title_tag.get('href', ''),'abstract': (item.select_one('.c-abstract') oritem.select_one('.content-right_8Zs40')).get_text(strip=True) if(item.select_one('.c-abstract') oritem.select_one('.content-right_8Zs40')) else ''})time.sleep(2)  # 请求间隔，别太快return results

三、百度反爬的四个层次，大部分人倒在了第二层

用代码访问百度搜索结果页，反爬机制是绕不开的话题。百度的反爬不是单一策略，而是层层递进的组合拳。理解它的分层逻辑，才知道自己卡在哪一步。

自写爬虫能稳定通过的通常只有第一层和第二层。到了第三层验证码，要么接打码平台（成本上去了），要么上浏览器自动化工具。第四层行为分析则几乎只有专业爬虫服务商才能稳定绕过。这也是为什么很多一开始用免费方案的人，跑着跑着就转向了付费工具。

四、升级到Playwright/Selenium，绕过行为分析层

当requests方案频繁触发验证码，就需要升级到浏览器自动化工具。Playwright和Selenium都能启动一个真实的Chrome/Edge浏览器实例，模拟完整的用户操作——打开百度首页、在搜索框输入关键词、点击搜索按钮、滚动页面、等待结果加载。这套流程的行为特征和真人非常接近，能有效降低触发验证码的概率。

Playwright比Selenium更适合这个场景，主要有三个优势：启动速度更快、API设计更现代、自带浏览器驱动不需要额外配置webdriver。写一个基础版的百度搜索结果提取器，Playwright版本的代码量大概在80行左右。

from playwright.sync_api import sync_playwrightdef baidu_search_playwright(keyword, max_pages=5):results = []with sync_playwright() as p:browser = p.chromium.launch(headless=False)  # 建议先非无头模式调试context = browser.new_context(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',viewport={'width': 1920, 'height': 1080})page = context.new_page()for pn in range(max_pages):url = f"https://www.baidu.com/s?wd={keyword}&pn={pn*10}"page.goto(url, wait_until='networkidle')# 检查是否跳到了验证码页if 'verify' in page.url.lower() or page.locator('#captcha').count() > 0:print(f"第{pn+1}页触发验证码，停止抓取")break# 等待搜索结果加载page.wait_for_selector('.result', timeout=10000)items = page.locator('.result.c-container').all()for idx, item in enumerate(items):title_el = item.locator('h3 a').firstif not title_el.count():continueresults.append({'rank': pn * 10 + idx + 1,'title': title_el.inner_text(),'baidu_url': title_el.get_attribute('href'),'abstract': item.locator('.c-abstract,.content-right_8Zs40').first.inner_text()if item.locator('.c-abstract,.content-right_8Zs40').count() else ''})page.wait_for_timeout(3000)  # 翻页间隔browser.close()return results

五、不写代码的方案：现成的开源工具和在线平台

不想自己写代码的话，GitHub上有几个还不错的开源项目可以直接用。但这些工具的共同问题是维护者更新频率不稳定，百度页面一改版就可能罢工几周甚至几个月。

5118和爱站这类SEO平台也能查关键词排名，但它们返回的是排名数值，不是搜索结果页的原始数据（标题、摘要、URL列表）。如果你的需求是"查自己的网站在某个关键词下排第几"，这些平台完全够用。但如果要的是"把某个关键词前5页所有自然结果的标题和链接全导出来做竞品分析"，它们就满足不了了。

六、付费SERP API，贵但有贵的道理

如果前面几种方案都不能满足需求——自写爬虫维护太累、开源工具不够稳定、在线平台功能不对口——那就到了付费SERP API的考虑范畴。这类服务的核心价值一句话概括：把反爬、解析、代理、重试这些脏活累活全包了，你只需要一个HTTP请求就能拿到干净的JSON数据。

目前主流的百度SERP API方案有两类：一类是ScraperAPI、Bright Data这类通用爬虫服务商，它们提供百度搜索的专用端点，价格按成功请求次数计费；另一类是Crawlbase、SerpApi这类专注搜索引擎抓取的服务商，对百度页面结构的适配更深入。

调用付费API的方式非常简单，以ScraperAPI为例，只需要构造一个带参数的URL即可：

import requestsAPI_KEY = "your_api_key"keyword = "网站SEO优化"url = "https://api.scraperapi.com/structured/baidu/search"params = {"api_key": API_KEY,"query": keyword,"page": 1,           # 页码"country_code": "cn" # 中国地区结果}resp = requests.get(url, params=params)data = resp.json()# data["organic_results"] 直接就是结构化结果列表for item in data.get("organic_results", []):print(item["title"], item["link"], item["snippet"])

七、提取出来的数据怎么用，五个实际落地场景

工具和方案讲完了，回到更实际的问题：提取出来的百度搜索结果数据，到底能用在什么地方？

八、自然结果和广告结果的区分，不区分等于白提取

百度搜索结果页上，广告结果和自然结果是混排的。页面前几条带"广告"或"推广"标识的是付费结果，后面才是自然排名结果。如果你的提取逻辑不区分这两类，数据就会严重失真——把广告位当成自然排名去分析，结论全偏。

区分的方法不复杂。百度广告结果在DOM结构上有明显的特征：通常带有 ec_wise_ad 或类似的广告标识class，或者包含"广告""推广"等文字标签。在解析循环里加一个过滤逻辑即可：

def is_ad_result(item_element):class_str = ' '.join(item_element.get('class', []))# 检查class名是否包含广告标识if any(kw in class_str for kw in ['ec_wise_ad', 'c-gap-top-small']):return True# 检查是否包含"广告"或"推广"文字标签ad_tags = item_element.select('.c-color-gray2')for tag in ad_tags:if tag.get_text(strip=True) in ['广告', '推广']:return True# 检查百度推广专属链接格式if item_element.select('a[href*="e.baidu.com"]'):return Truereturn False

九、四种方案的选择逻辑，看完不会再纠结

方案选型这件事，说穿了就三个维度：量有多大、频率多高、预算多少。把这三个问题想清楚，方案自动就出来了。

还有一个很多人忽略的中间方案：自写提取逻辑 + 付费代理服务。解析代码自己写（灵活度高），但把IP代理和验证码绕过外包给代理服务商。这种方案的成本介于纯自建和全托管API之间，适合有一定开发能力但不想花精力维护代理池的团队。

十、批量提取的五个注意事项，踩过坑才总结出来的

不管用哪种方案，批量提取百度搜索结果时有一些通用的注意事项，这些细节直接影响提取成功率：

最后说一点：百度搜索结果页的DOM结构不是一成不变的。它会因为用户是否登录、搜索设备类型（PC/移动）、搜索词类型（普通词/品牌词/新闻词）、甚至A/B测试而返回不同的页面结构。这意味着没有任何一个CSS选择器方案是永远有效的。不管你选哪种方案，都要有"过一段时间可能需要更新解析逻辑"的心理准备。付费API的价值之一就是服务商帮你持续跟进这些变化。