HTTPS代理自动采集：ProxyBroker、proxy_pool、ProxyScrape三个开源方案

三款开源代理采集方案，各自解决链条上的不同环节

· 异步并发验证 —— 不是一条一条顺序检测，而是同时发起几百个验证请求。2000条原始IP里筛出可用的，传统同步方式可能要跑半小时，ProxyBroker几分钟搞定。

· 内置匿名度检测 —— 验证时不是简单地ping一下看通不通，而是实际发一个HTTP请求到一个检测服务器，看返回的HTTP头部里有没有透传真实IP。能自动区分透明（Transparent）、普匿（Anonymous）、高匿（High）三个级别。

· 支持本地代理服务器模式 —— 可以把采集到的代理池变成一个本地代理服务器，你的爬虫请求发给本地的ProxyBroker，它自动从池子里选一个代理转发出去。不用改爬虫代码，改个代理地址就行。

⚠ 一个容易踩的坑

ProxyBroker默认采集的是全球代理，如果你需要国内代理或者特定国家的IP，一定要加 --countries CN 参数。不加的话默认扫全球，出来的IP延迟可能几百毫秒，在国内用起来体验很差。

proxy_pool的核心架构（四个模块分工）

⚠ proxy_pool的两个关键设置

1. 数据库选Redis —— 默认支持Redis和SSDB，不要用SSDB，直接用Redis。Redis的过期时间机制天然适合代理IP的场景（一个IP有效期过了自动删除），SSDB没有这个能力。

2. 验证URL要换成你自己的目标站 —— setting.py里默认用百度验证，但如果你爬的是海外网站，换成一个目标站的URL验证才准。代理对A网站可用不一定对B网站可用。

免费版能做什么：

· 每天几千次API请求（具体数字随政策变动，大致够中小规模使用）

· 支持按协议筛选：HTTP / HTTPS / SOCKS4 / SOCKS5

· 支持按匿名度筛选：elite（高匿）/ anonymous（普匿）/ transparent（透明）

· 支持按国家筛选（两位国家代码）

· 返回JSON格式，直接解析就能用

免费版的最大问题

ProxyScrape免费API返回的代理，可用率不是100%。因为它是定时刷新的，不是实时验证的。你拿到代理之后，自己再跑一遍验证才能保证可用率。另外，免费版的请求频率有上限，如果大规模爬虫每分钟要几百个代理，免费版不够用，得升付费。

免费代理 vs 付费代理，四个维度的真实差距

⚠ HTTPS代理和HTTP代理不是一回事

很多人以为代理标注"支持HTTPS"就是能转发HTTPS流量。实际上，代理分两种能力：①代理本身支持HTTPS协议（即代理服务器和你的客户端之间走TLS加密）；②代理能转发HTTPS请求（通过CONNECT隧道）。大部分免费代理是第②种——代理和你的连接是明文HTTP，但它能帮你转发HTTPS请求到目标站。真正支持HTTPS的代理（客户端到代理也是加密的）在免费池里很少见。如果你的场景对中间人攻击敏感，这一点要格外注意。

💡 组合方案（最实用）

实际工程里最常见的做法不是单选一个，而是组合：服务器上部署proxy_pool作为基础代理池，同时在爬虫代码里接入ProxyScrape API作为补充源，两个源合并去重后再用多线程做最终验证，只保留验证通过的。 这样既有了proxy_pool的持续采集能力，又有了ProxyScrape的API便利性，还能自己再筛一遍保证质量。代价是多写几十行Python代码。