上个月有个做招投标信息分析的朋友跟我说了一个事：他需要在某政府网站上下载200个招标公告附带的PDF文件。他第一反应是写Python脚本，配requests加代理IP、设Referer、调Cookie、处理重定向——折腾了两个小时，一跑还是403。旁边一个同事在Chrome上装了DownThemAll插件，三分钟勾选完筛选规则，200个PDF全部下完。不是Python不好，是他没搞清楚附件批量采集这件事，工具的选择比技术能力重要得多。
附件采集和普通网页抓取不太一样——它面对的不是HTML文本，而是PDF、Word、Excel、ZIP这些二进制文件。链接藏得深、格式五花八门、反爬策略专门针对下载接口做限制。选错工具的结果就是：简单任务花了几天写代码，复杂任务用免费插件根本跑不动。主流的几类附件采集方式拆开来看，每种适合什么场景、坑在哪里。
附件批量采集的四种方案，按技术门槛从低到高
| 1 | 浏览器插件（DownThemAll / Link Grabber）——零代码，适合单个页面上的附件批量下载，一次几十到几百个，但不能翻页 |
| 2 | 可视化采集器（八爪鱼 / 火车采集器）——拖拽式配置，支持翻页和跨页面采集，附件+正文一起抓，适合非技术人员批量作业 |
| 3 | Python脚本（requests + BeautifulSoup + pdfplumber）——灵活度最高，能处理复杂登录态和动态加载，但需要编程能力 |
| 4 | RPA自动化（影刀 / UiBot）——模拟真人点击操作，适合需要登录、验证码、复杂交互的网站，但速度慢、不稳定 |
一、浏览器插件：解决80%的附件批量下载需求
先说最实用的一类。DownThemAll是一款跨浏览器（Chrome / Edge / Firefox）的批量下载插件，它的核心能力就一个：自动扫描当前页面所有资源链接，按你设定的规则一键批量下载。听起来简单，实际用起来有几个关键细节很多人不知道。
文件类型过滤
支持按后缀筛选：.pdf、.doc、.docx、.xls、.xlsx、.zip、.rar、.7z。可以多选，比如同时勾PDF和Word，一次下完所有文档类附件。
URL关键词过滤
输入关键词如"招标""附件""download"，只下载包含这些词的链接。这对政府网站特别管用——URL里通常带"file"或"att"。
文件大小过滤
设置最小值和最大值，过滤掉空白占位文件和超大文件。比如招标PDF一般500KB-5MB，设这个区间直接跳过logo小图和无关附件。
重命名规则
支持自定义命名模板，可以用页面标题+序号，避免下载后一堆乱码文件名。政府网站的附件很多是纯数字编号，加标题前缀后面才好找。
另一个轻量级选择是Link Grabber，功能更简单：一键提取页面上所有链接，按后缀分组导出为文本列表，然后丢给IDM或迅雷批量下载。适合不安装额外插件的场景——提取完链接就走，不留痕迹。
但插件方案有个硬伤：只能抓当前页面可见的链接。如果附件分散在50个分页里，你得手动翻50次页面。这时候就需要第二类工具上场了。
二、可视化采集器：不写代码也能跨页面批量采集附件
八爪鱼和火车采集器代表了"拖拽式配置"路线。你不需要写一行代码，在图形界面里配置采集规则：打开哪个网址、点哪个按钮、翻到第几页、提取哪些字段、下载哪些附件——像画流程图一样搭建采集流程。
| 对比维度 | 八爪鱼采集器 | 火车采集器（Locoy） |
|---|---|---|
| 上手难度 | 零代码，模板市场有预制规则，选模板→改网址→点运行，5分钟上手 | 需要理解XPath/CSS选择器，有学习成本，但灵活性远高于八爪鱼 |
| 附件下载 | 内置文件下载功能，采集正文的同时自动下载附件，支持PDF/Word/Excel/ZIP等 | 通过"文件下载"标签页配置，支持多线程并发下载，可设置下载间隔防封 |
| 分页处理 | 自动识别翻页按钮，一键配置循环翻页，无需手写逻辑 | 手动配置翻页规则，但支持更复杂的翻页场景（如瀑布流、点击加载更多） |
| 价格 | 免费版每月5000条数据限制；专业版299元/月起；企业版按需定制 | 免费版功能完整（仅限本地使用）；旗舰版买断制999元起 |
| 云运行 | 支持云端7×24小时运行，关电脑也能继续采，适合长期监控类任务 | 仅本地运行，需要电脑一直开机，但数据不出本地，安全可控 |
| 适用场景 | 政府公告/招标信息监控、电商商品数据采集、社交媒体内容抓取 | 站群内容采集+自动发布、学术论文批量下载、企业内网数据迁移 |
一个很多人忽略的细节：八爪鱼的政府网站模板已经预置了附件下载逻辑。打开帮助中心的"政府网站采集正文及下载文中附件"教程，照着配就能跑。不需要研究XPath，不需要写正则——模板已经把常见的政府公告页结构适配好了。这也是为什么非技术人员首选八爪鱼而不是火车采集器：不是后者不好，是前者的模板生态省时间。
一个容易踩的坑：两种工具都支持设置"下载间隔"，但默认值通常是0秒。如果连续下200个PDF不加间隔，政府网站的防火墙大概率会在第30-50个请求时把你的IP封掉。建议设3-5秒的下载间隔，慢是慢了点，但不会被踢。
三、Python脚本：灵活度最高，但代价也最高
当附件链接不是直接暴露在HTML里，而是通过JavaScript动态生成、或者需要先登录拿到Token才能请求下载接口的时候，插件和采集器的规则配置就不够用了。这时候Python是唯一解。
但Python方案的真正成本不在写代码，而在反爬对抗。附件下载接口通常比普通页面接口反爬更严，因为下载操作消耗服务器带宽。以下是附件批量采集脚本必须处理的四个技术点：
隐藏链接识别
不是所有附件链接都在a标签href里。有的藏在onclick事件、有的藏在data-url属性、有的是通过AJAX异步加载后才出现的Blob URL。需要F12抓包看Network面板，找到真实请求地址。
Referer和Cookie校验
下载接口通常校验Referer字段，直接发请求不带Referer会返回403。需要先请求页面获取Cookie，再用同一Session携带Referer发起下载请求。
断点续传和重试
批量下载100+文件时中间断几个很正常。需要实现指数退避重试（等1秒→2秒→4秒→8秒），以及校验文件完整性（比对Content-Length和实际大小）。
文件类型真伪判断
有些网站附件的URL后缀不可信，可能.php结尾但返回PDF。正确的做法是读取响应的Content-Type头，根据MIME类型判断真实文件格式。
如果你确实需要写脚本，Python生态里最常用的组合是：requests做HTTP请求、BeautifulSoup解析HTML提取链接、pdfplumber解析下载后的PDF内容、pandas处理Excel附件。多线程用concurrent.futures.ThreadPoolExecutor，线程数控制在5-8个，太多了容易被封。
说句实话：80%的附件采集需求用不着写Python。除非目标网站有非常规的登录鉴权、动态Token刷新、或者需要从PDF里提取结构化数据入库，否则插件和采集器完全够用。
四、同一批附件用四种方案跑，效率差距有多大
假设一个场景：某市政府采购网，公告列表页有20页，每页10条，每条带一个PDF附件，共200个文件。分别用四种方案跑一遍：
| 方案 | 配置耗时 | 下载耗时 | 成功率 | 能否复用 |
|---|---|---|---|---|
| DownThemAll插件 | 2分钟（装插件+设筛选规则） | 3分钟（但需手动翻20页） | 95%+ | 规则可保存，但每次需手动操作 |
| 八爪鱼（政府模板） | 10分钟（选模板+改网址+设翻页） | 12分钟（3秒间隔×200个） | 98%+ | 一次配置，可定时重复运行 |
| 火车采集器 | 25分钟（需写XPath规则） | 8分钟（多线程+2秒间隔） | 95%+ | 规则可复用，支持导出分享 |
| Python脚本（自写） | 2小时（写代码+调试反爬） | 5分钟（并发8线程） | 90%（首次运行通常有bug） | 改参数即可复用，但每个网站需单独适配 |
这个对比说明一件事：附件采集的效率差距不在下载速度，在配置和调试时间。Python下载最快，但首次配置2小时；八爪鱼配置10分钟，下载12分钟，总耗时22分钟——比Python方案快5倍。只有当你需要每天跑、跑几十个网站的时候，Python的一次性投入才有性价比。
五、附件的三种"藏法"，决定了该用什么工具
选工具之前，先搞清楚附件在网页上是怎么呈现的。根据隐藏程度，可以分成三个等级：
Level 1：直接暴露（占比约60%）
a标签的href直接指向.pdf、.docx等后缀的URL，右键就能复制链接。政府网站、学校官网、开源文档站大多属于这一类。用DownThemAll或Link Grabber直接批量下载，3分钟搞定。
Level 2：JavaScript渲染（占比约30%）
页面HTML源码里没有附件链接，链接由JavaScript动态生成（常见于Vue/React前端框架的网站）。插件抓不到，但八爪鱼和火车采集器的内置浏览器引擎能执行JS后再提取链接。用可视化采集器解决。
Level 3：接口鉴权+Token动态刷新（占比约10%）
下载需要先登录获取Token，且Token每隔几分钟过期。常见于付费报告平台、企业内部系统、部分招投标平台。只能用Python脚本或RPA工具处理，需要实现自动登录→获取Token→携带Token请求下载→Token过期重新登录的完整流程。
一个实用的判断方法：打开目标网页，按F12看Network面板，刷新页面，在过滤框里输入".pdf"或".xlsx"。如果能看到带这些后缀的请求，就是Level 1；如果看不到，但页面确实有附件链接，就是Level 2或3。
六、三个容易翻车的细节
文件名冲突导致覆盖
很多网站附件名称相同（如"附件1.pdf"），批量下载时后下载的会覆盖先下载的。必须在下载前设置好重命名规则，比如"来源页面标题+原始文件名"。
下载间隔不够被封IP
附件下载比普通页面请求更吃服务器资源，反爬阈值通常更低。政府网站的防火墙尤其敏感，建议最少3秒间隔，重要数据源可以加到5-8秒。
下载了打不开的空文件
请求被重定向到登录页或错误页，但服务器返回200状态码，你下回来的是一个HTML登录页面而不是PDF。下载后检查文件大小和Content-Type，异常大小的文件（如只有几KB的"PDF"）需要重新下载。
七、批量采集后的数据怎么组织和管理
附件下载下来只是第一步。200个PDF堆在一个文件夹里，找都找不到——这才是附件采集的真正痛点：采集容易管理难。
按来源分类
目录树
网站域名/年份/月份 三级目录，一眼找到
命名规范
时间+标题
20260801_招标公告_xxx.pdf，排序和搜索都方便
元数据记录
索引表
Excel记录每个文件的来源URL、下载时间、文件大小、MD5
内容解析
结构化
PDF→文本/表格，方便搜索和对比分析
如果你是做站群或者需要持续监控多个数据源，用UC建站系统的多站统一看板来管理采集任务会省不少事。它可以对不同站点的采集频率、下载状态、异常报警做统一监控——不用在八爪鱼、火车采集器和本地文件夹之间来回切。内容中台的差异化重组能力还能把不同来源的附件内容按站点主题重新组织，一个数据源产出多套内容。
八、四句话选型指南
只下载当前页面上的附件，量不大 → DownThemAll或Link Grabber，零成本零配置
需要跨页面翻页采集，不会写代码 → 八爪鱼（选模板上手快）或火车采集器（买断制性价比高）
网站有复杂登录鉴权，需要深度定制 → Python脚本（requests+BeautifulSoup），准备投入半天到一天写代码和调试
需要模拟人工操作（验证码、滑块、复杂交互） → RPA工具（影刀/UiBot），但要做好速度慢且不稳定的心理准备
说穿了，附件批量采集这件事，工具选择的核心不是"哪个功能最强"，而是"你的目标网站附件藏得多深"。Level 1用插件，Level 2用采集器，Level 3用脚本——这个分层决策比任何功能对比都管用。不要一上来就写Python，也不要指望一个免费插件能解决所有网站的问题。搞清楚附件是怎么藏的，工具自然就知道该用哪个了。
