代理IP池自动采集搭建零成本方案从手换到Docker一键拉起：GitHub上star了23k的proxy_pool项目Docker一行命令配10个免费代理源每20分钟自动采集一轮用百度首页做连通性校验，池子里稳定维持200个可用IP爬虫成功率从40%拉到92%

一开始是手动从快代理免费页面上复制粘贴IP到爬虫脚本里，每半小时换一批，换到第三批就发现90%的IP根本连不上。后来找到GitHub上star了23k的proxy_pool项目，Docker一行命令拉起来，配了10个免费代理源让它每20分钟自动采集一轮、每个IP用百度首页做连通性校验，跑了一晚上池子里稳定维持在200个可用IP，爬虫的请求成功率从原来手动换IP时的40%直接拉到92%。免费的做到这个程度，对于中小规模的站群数据采集已经足够用了

代理IP池这件事，搜这个词的人大概分三种：第一种是爬虫被目标站封了IP，需要自动换IP继续采数据；第二种是管着一批站要做SEO监控（查排名、查收录），每次请求得换不同IP避免触发风控；第三种是跨境电商或社交媒体矩阵运营，需要大量不同地区的IP来模拟真实用户。三种需求对代理IP的稳定性、匿名度、响应速度要求不一样，选错方案要么跑不起来要么浪费钱。下面从免费到付费、从开箱即用到自建全链路讲一遍。

一、开源方案：proxy_pool，Docker一行命令跑起来

GitHub上star最高的两个代理池项目：jhao104/proxy_pool（23k+ stars）和 Python3WebSpider/ProxyPool（6k+ stars）。前者功能更全、文档更完善、社区更活跃，是目前自建免费代理池的首选。

Docker部署（最快方式）

# 拉取并运行，一行搞定docker run -d --name proxy_pool \-p 5010:5010 \-e DB_CONN=redis://:password@你的Redis地址:6379/0 \jhao104/proxy_pool:latest# 查看日志确认启动成功docker logs -f proxy_pool# 查看当前池子里的IP数量curl http://localhost:5010/all/

核心API接口

二、自写采集脚本：不依赖开源项目，完全自己掌控

如果你不想引入整个proxy_pool项目，或者需要更灵活的控制（比如自定义验证目标网站、自己决定采集哪些代理源），200行Python代码就能搭一套精简版。

采集模块：从免费代理网站抓IP

# proxy_collector.py — 多源采集 + 并发验证import reimport timeimport queueimport threadingimport requestsfrom bs4 import BeautifulSoup# 免费代理源（只列还在稳定运行的）PROXY_SOURCES = [# 快代理免费页{'url': 'https://www.kuaidaili.com/free/inha/{page}/', 'pages': 5},# 89免费代理{'url': 'https://www.89ip.cn/index_{page}.html', 'pages': 3},# 云代理{'url': 'https://www.ip3366.net/free/?page={page}', 'pages': 5},# 小幻代理{'url': 'https://ip.ihuan.me/', 'pages': 1},]def fetch_from_kuaidaili(url):"""快代理专用解析器"""resp = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'}, timeout=10)soup = BeautifulSoup(resp.text, 'html.parser')proxies = []for row in soup.select('table tbody tr'):cols = row.find_all('td')if len(cols) >= 2:ip = cols[0].text.strip()port = cols[1].text.strip()proxies.append(f'{ip}:{port}')return proxiesdef fetch_from_89ip(url):"""89代理专用解析器"""resp = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'}, timeout=10)# 89代理的IP在纯文本中，用正则提取pattern = r'(\d+\.\d+\.\d+\.\d+):(\d+)'return [f'{m[0]}:{m[1]}' for m in re.findall(pattern, resp.text)]def collect_all():"""从所有源采集代理IP"""all_proxies = set()for source in PROXY_SOURCES:for page in range(1, source['pages'] + 1):try:url = source['url'].format(page=page)if 'kuaidaili' in url:proxies = fetch_from_kuaidaili(url)elif '89ip' in url:proxies = fetch_from_89ip(url)else:proxies = fetch_from_kuaidaili(url)  # 默认用通用解析all_proxies.update(proxies)print(f'  [{url}] -> {len(proxies)} proxies')except Exception as e:print(f'  [SKIP] {url}: {e}')time.sleep(1)  # 礼貌爬取print(f'Total collected: {len(all_proxies)}')return list(all_proxies)

验证模块：多线程并发测试连通性

# proxy_validator.py — 并发验证代理可用性import timeimport threadingfrom concurrent.futures import ThreadPoolExecutor, as_completedimport requests# 用于验证的目标URL（选一个稳定的）TEST_URL = 'https://www.baidu.com'TIMEOUT = 5MAX_WORKERS = 50valid_proxies = []lock = threading.Lock()def validate_one(proxy):"""验证单个代理"""proxies = {'http': f'http://{proxy}', 'https': f'http://{proxy}'}try:start = time.time()resp = requests.get(TEST_URL, proxies=proxies, timeout=TIMEOUT)elapsed = time.time() - startif resp.status_code == 200:with lock:valid_proxies.append({'proxy': proxy,'speed': round(elapsed, 2),})return Trueexcept:passreturn Falsedef batch_validate(proxy_list):"""并发批量验证"""valid_proxies.clear()total = len(proxy_list)with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor:futures = {executor.submit(validate_one, p): p for p in proxy_list}done = 0for future in as_completed(futures):done += 1if done % 50 == 0:print(f'  Progress: {done}/{total}, valid: {len(valid_proxies)}')# 按速度排序，快的排前面valid_proxies.sort(key=lambda x: x['speed'])print(f'Validation done: {len(valid_proxies)}/{total} valid')return valid_proxies

调度模块：定时采集+验证+提供API

# proxy_server.py — Flask API + 定时调度import jsonimport randomimport scheduleimport threadingfrom flask import Flask, jsonify, requestapp = Flask(__name__)pool = []  # 全局代理池def refresh_pool():"""定时刷新代理池"""global poolprint(f'[{time.strftime("%H:%M:%S")}] Refreshing proxy pool...')raw = collect_all()pool = batch_validate(raw)print(f'[{time.strftime("%H:%M:%S")}] Pool refreshed: {len(pool)} proxies')def scheduler_loop():"""后台定时调度线程"""schedule.every(20).minutes.do(refresh_pool)while True:schedule.run_pending()time.sleep(10)# 启动时立即采集一次refresh_pool()# 后台定时线程t = threading.Thread(target=scheduler_loop, daemon=True)t.start()@app.route('/get')def get_proxy():"""随机返回一个可用代理"""if not pool:return jsonify({'error': 'pool empty'}), 503p = random.choice(pool)return jsonify({'proxy': p['proxy'], 'speed': p['speed']})@app.route('/all')def all_proxies():"""返回全部可用代理"""return jsonify(pool)@app.route('/count')def count():return jsonify({'count': len(pool)})if __name__ == '__main__':app.run(host='0.0.0.0', port=8899)

三、付费代理：什么情况下免费的不够用了

免费代理池有一个天花板：可用率一般在30%-60%，响应速度在1-5秒之间，而且IP大多是机房IP（非住宅），部分目标站会直接拒绝机房IP的请求。如果你的场景属于以下任一种，付费代理是值得的：

四、爬虫里怎么接入代理池

不管是自建的proxy_pool还是付费代理的API，在爬虫代码里接入都很简单。以requests为例：

import requestsimport randomclass ProxyPoolMiddleware:def __init__(self, pool_url='http://localhost:5010'):self.pool_url = pool_urlself.failed_proxies = set()def get_proxy(self):"""从代理池获取一个可用代理"""try:resp = requests.get(f'{self.pool_url}/get/', timeout=3)if resp.status_code == 200:proxy = resp.json()['proxy']if proxy not in self.failed_proxies:return proxyexcept:passreturn Nonedef mark_failed(self, proxy):"""标记失败的代理"""self.failed_proxies.add(proxy)# 也可以调 /delete/ 接口从池子里删掉try:requests.get(f'{self.pool_url}/delete/?proxy={proxy}', timeout=3)except:passdef request_with_retry(self, url, max_retries=3, **kwargs):"""带代理切换的重试请求"""for i in range(max_retries):proxy = self.get_proxy()if not proxy:raise Exception('No proxy available')proxies = {'http': f'http://{proxy}', 'https': f'http://{proxy}'}try:resp = requests.get(url, proxies=proxies, timeout=10, **kwargs)if resp.status_code == 200:return respif resp.status_code in [403, 429]:  # 被限制self.mark_failed(proxy)continuereturn respexcept requests.RequestException:self.mark_failed(proxy)continueraise Exception(f'Failed after {max_retries} retries')# 使用middleware = ProxyPoolMiddleware('http://localhost:5010')try:resp = middleware.request_with_retry('https://目标网站.com/page')print(resp.text[:200])except Exception as e:print(f'Request failed: {e}')

五、免费代理源怎么选，哪些已经不能用了

免费代理网站变化很快，有的今天能爬明天就加反爬了，有的干脆关站了。下面列的是截至当前还在稳定运行的：

六、免费 vs 付费，怎么选看这张表

七、代理池运维中容易碰到的问题

最后梳理一下

代理IP池这件事，核心不是"有没有代理"，而是"代理够不够稳、切换够不够快"：

说穿了，代理池的质量取决于两个环节：采集源的多样性和验证的时效性。源越多越不容易断粮，验证越频繁越能及时踢掉失效的。proxy_pool之所以成为开源首选，就是因为它把这两个环节都自动化了——你只需要 Docker run 一下，剩下的采集、验证、轮检、API全自动跑。