做竞品分析需要收集300张行业产品图，手动右键另存为搞了一下午，存了不到200张。文件名全是"image_001""下载(3)""未命名"这种乱码，其中有十几张图换了个尺寸但内容是同一张，存重了完全不自知。更麻烦的是有三张带水印的直接用到了分析报告里，被对方公司发邮件要求删除。后来才知道——图片批量采集这件事，代码能搞定的是"把图下载到本地"这一步，后面去重、水印识别、版权判断才是真正决定这批图能不能用的关键。
网站图片批量采集，三个核心认知
| 1 | 爬虫代码是最简单的环节——requests+BeautifulSoup不到50行就能跑。真正消耗时间的是下载后的去重、水印识别和版权判断 |
| 2 | MD5去重只对完全相同的文件有效，同一张图换个尺寸或裁一刀就认不出来了。感知哈希（pHash/dHash）才是去重的正解 |
| 3 | 有版权声明的图不能商用、带他人水印的图不能直接用、人物肖像需要授权——三条红线，踩中任何一条都可能吃官司 |
| 4 | 反向视角：你的网站图片也可能被别人批量采集。数字水印、防盗链、频率限制、图片切片四道防线，做不到100%防住但能让采集成本高到对方放弃 |
一、三种方案，从零代码到全自动
图片批量采集这件事，方案选型取决于你要采的图片数量和频率。一次性采几十张图做参考，和日常需要监控几十个竞品网站每天的新品图，用的工具完全不一样。
| 方案 | 适用规模 | 技术门槛 | 优点 | 短板 |
|---|---|---|---|---|
| 浏览器插件 （Image Downloader等） | 单页50张以内 | 零 | 一键下载当前页面所有图片，支持按尺寸和格式筛选 | 无法跨页面、无法去重、不能过滤水印 |
| 可视化采集工具 （八爪鱼、后裔采集器） | 单站500张以内 | 低 | 可视化配置采集规则，支持翻页和列表循环 | 定制能力弱，图片去重和水印识别需要额外处理 |
| Python爬虫脚本 | 不限 | 中 | 完全可控，可集成去重、水印识别、自动分类等逻辑 | 需要写代码，反爬策略需要自己处理 |
选型建议：50张以下用浏览器插件就够了；50-500张且网站结构简单用可视化工具；超过500张或者需要去重、水印过滤、自动分类这些高级功能，老老实实用Python脚本。写一次模板，后面改个URL就能复用。
二、Python批量采集：从零到能跑的完整流程
图片批量采集的Python代码不难，核心流程分四步：获取页面HTML、解析出所有图片URL、过滤目标图片、批量下载。下面这个模板覆盖了最常见的场景——采集某个网页上所有超过指定尺寸的图片。
import requestsfrom bs4 import BeautifulSoupfrom urllib.parse import urljoinimport osimport time# ===== 配置区 =====TARGET_URL = "https://example.com/products" # 目标页面SAVE_DIR = "./downloaded_images" # 保存目录MIN_WIDTH = 200 # 最小宽度（过滤图标、按钮等小图）MIN_HEIGHT = 200 # 最小高度HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"}REQUEST_INTERVAL = 1.5 # 请求间隔（秒），太快会被封# ===== 创建保存目录 =====os.makedirs(SAVE_DIR, exist_ok=True)# ===== 1. 获取页面HTML =====resp = requests.get(TARGET_URL, headers=HEADERS, timeout=15)soup = BeautifulSoup(resp.text, "html.parser")# ===== 2. 提取所有图片URL =====img_tags = soup.find_all("img")img_urls = []for tag in img_tags:src = tag.get("src") or tag.get("data-src") or tag.get("data-original")if src:full_url = urljoin(TARGET_URL, src)img_urls.append(full_url)print(f"找到 {len(img_urls)} 张图片")# ===== 3. 批量下载 =====downloaded = 0for i, url in enumerate(img_urls):try:time.sleep(REQUEST_INTERVAL)img_resp = requests.get(url, headers=HEADERS, timeout=15)# 只保存图片类型content_type = img_resp.headers.get("Content-Type", "")if "image" not in content_type:continue# 从URL提取文件名filename = url.split("/")[-1].split("?")[0]if not filename or "." not in filename:filename = f"image_{i}.jpg"filepath = os.path.join(SAVE_DIR, filename)with open(filepath, "wb") as f:f.write(img_resp.content)downloaded += 1print(f"[{downloaded}] {filename}")except Exception as e:print(f"下载失败 {url}: {e}")print(f"完成，共下载 {downloaded} 张图片")这段代码能跑，但有两个致命问题。一是去重缺失——同一个产品可能在列表页、详情页、缩略图出现了三次，URL不同但内容一样，代码会全部下载下来。二是没有尺寸过滤——200×200的缩略图和800×800的原图都会被下载，但实际上你只需要原图。
更隐蔽的问题是动态加载。很多网站用JavaScript懒加载图片，页面初始HTML里没有img标签，图片URL藏在data-src或data-original属性里，甚至需要滚动到图片位置才会触发加载。上面这段代码只抓了静态img标签的src属性，漏掉懒加载图片的概率超过60%。解决方案是用Selenium模拟浏览器滚动，或者直接分析网站的Ajax接口返回的JSON数据。
请求间隔的坑：REQUEST_INTERVAL设成0.5秒看起来很高效，但大部分网站的反爬阈值在每秒1-3次请求之间。1.5秒间隔是安全值——连续请求几百张图不会被封IP。低于1秒，跑到第50张左右大概率触发验证码或IP临时封禁。这个值宁可设大不要设小。
三、图片去重：MD5不够用，感知哈希才是正解
图片去重是批量采集最容易忽略但影响最大的环节。很多人默认用MD5做去重——计算每张图片文件的MD5值，相同就跳过。这个思路对"完全相同的文件"有效，但同一张图片在不同页面出现时，经常是不同尺寸、不同压缩率、甚至不同格式的版本。产品列表页的缩略图是200×200的JPEG，详情页的原图是1200×1200的PNG，MD5值完全不同，但它们是同一张图。
解决这个问题需要用到感知哈希——一种基于图像内容而不是文件二进制的哈希算法。它先把图片缩放到统一尺寸、转灰度、计算像素差异，生成一个"视觉指纹"。两张图看起来像，哈希值就接近；看起来不像，哈希值就相差很远。感知哈希能识别同一张图的不同尺寸、不同压缩、甚至裁切和旋转版本。
aHash（均值哈希）
缩放到8×8→灰度化→计算像素均值→每个像素和均值比较。速度最快，但对亮度变化敏感。适合快速初筛，不适合最终去重。
pHash（感知哈希）
缩放到32×32→灰度化→DCT变换→取左上角8×8低频区域。对尺寸、压缩、亮度变化都很鲁棒，去重准确率最高。推荐作为主力去重算法。
dHash（差异哈希）
缩放到9×8→灰度化→比较相邻像素大小。对图片的细微裁切和拉伸检测效果好。适合检测同一张图被裁了一小条的变体。
实操建议：用MD5做第一轮快速去重（过滤完全相同的文件，速度极快），然后用pHash做第二轮相似去重（过滤不同尺寸/压缩的同一张图）。两轮去重后，采集回来的图片数量通常会减少20%-40%——这些减少的部分都是重复的废数据。
from PIL import Imageimport imagehashimport osdef deduplicate_images(image_dir, hash_threshold=5):"""两轮去重：MD5 + pHash"""seen_md5 = set()seen_phash = {} # {phash: filepath}duplicates = []for fname in os.listdir(image_dir):fpath = os.path.join(image_dir, fname)# 第一轮：MD5去重（完全相同文件）with open(fpath, "rb") as f:md5 = hashlib.md5(f.read()).hexdigest()if md5 in seen_md5:duplicates.append(("MD5重复", fpath))continueseen_md5.add(md5)# 第二轮：pHash去重（视觉相似）try:img = Image.open(fpath)phash = imagehash.phash(img)# 检查是否有相似图片（汉明距离 <= hash_threshold）for existing_hash, existing_path in seen_phash.items():if phash - existing_hash <= hash_threshold:duplicates.append(("视觉重复", fpath))breakelse:seen_phash[phash] = fpathexcept:continuereturn duplicates常见踩坑：hash_threshold设得太小（比如1-2），会把同一产品不同角度的图也判为重复，导致漏掉有价值的图片。设得太大（比如10-15），两个完全不同的产品如果构图相似（比如都是白底产品居中照），可能被误判为重复。经验值：产品图去重设5，场景图去重设8，LOGO/图标去重设3。
四、水印识别：别把带标的图直接用了
采集回来的图片里，至少30%-50%带水印——尤其是电商产品图、新闻图片、自媒体配图。带水印的图直接用到自己的内容里，轻则被投诉要求删除，重则面临侵权赔偿。水印本身就是版权声明的一种形式。
水印识别可以从简单到复杂分三层来做：
第一层：文件名和URL关键词过滤
图片URL或文件名中包含"watermark""wm""logo""水印""版权"等关键词，直接标记为带水印。这层过滤快但覆盖率低，只能抓到显式命名的水印图。
第二层：OCR文字检测
用PaddleOCR或Tesseract检测图片四角和中心区域是否有文字。水印通常位于图片右下角、左下角或居中位置。这层能抓到90%的文字水印。
第三层：模板匹配
如果你知道目标网站的水印样式（比如某图库的LOGO位置和形状），用OpenCV模板匹配直接搜。准确率最高但需要预先知道水印样式。
实际使用中，第二层OCR文字检测性价比最高——能覆盖绝大多数水印场景，而且不需要预先知道水印样式。需要注意的是，OCR会把图片内容中的文字也检测出来（比如产品包装上的文字、海报上的标题），所以不能简单粗暴地"检测到文字就标记为水印"。要限定检测区域（右下角、左下角）和文字特征（半透明、白色或浅色字体、小字号）。
如果你需要处理大量图片，可以训练一个简单的水印分类模型。收集500张带水印和500张不带水印的样本图片，用ResNet或EfficientNet做二分类微调，准确率能达到95%以上。但大部分场景不需要做到这个程度——OCR + 区域限定 + 人工抽查10%已经够用。
五、版权判断：三条红线不能碰
图片采集的合规边界比文字采集更严格。文字你还可以用自己的话重新表达（虽然也要注意洗稿风险），但图片是视觉作品，原样使用就是复制——法律上几乎没有"合理使用"的空间。三条红线，踩中任何一条都可能吃官司。
| 红线 | 具体内容 | 法律风险 | 合规替代方案 |
|---|---|---|---|
| 商业用途 | 将有版权图片用于广告、产品页、营销素材、公众号配图等商业场景 | 赔偿500-50000元/张，视觉中国等图库的维权频率极高 | 用Unsplash、Pexels、Pixabay等CC0协议免版权图库 |
| 他人水印 | 直接使用带他人水印的图片，或裁掉水印后使用 | 裁水印属于故意侵权，赔偿金额翻倍 | 找无水印版本，或自己重新拍摄/设计 |
| 人物肖像 | 未经授权使用含可识别人物的图片（即使图片本身无版权声明） | 侵犯肖像权，赔偿金额视使用范围和影响而定 | 用AI生成人物图，或使用已获肖像授权的素材 |
一个常见的误解：很多人以为"网上公开的图片就可以随便用"。实际上，公开不等于授权。你在搜索引擎里看到的每一张图，默认都受著作权法保护，除非作者明确声明放弃版权（如CC0协议）。百度图片搜索结果的"版权提示"功能已经在逐步覆盖，但最安全的做法是：不确定版权状态的图，默认不用。
实用的版权判断流程：先查图片来源（右键→搜索图片或Google以图搜图），看原出处是否有版权声明或授权协议。如果没有明确声明，查网站footer或Terms页面。如果都找不到，默认视为有版权保护。对于素材收集和竞品分析这种内部使用场景，风险较小（不对外发布就不构成侵权）；对于对外发布（网站配图、公众号、营销物料），必须确认版权状态或使用免版权图源。
免版权图库推荐：Unsplash（高质量摄影，CC0协议，可商用）、Pexels（摄影+视频，可商用免署名）、Pixabay（图量最大，包含插画和矢量图，可商用）。三个图库加起来超过500万张，覆盖大部分日常配图需求。如果需要特定产品图或行业场景图，这三个图库不一定有，那就需要自己拍摄或购买商业图库授权。
六、反向视角：怎么防止别人批量采集你的图片
你研究怎么采集别人图片的时候，别人也在研究怎么采集你的。如果你的网站以原创图片为核心竞争力——产品实拍图、数据图表、设计作品——那图片保护不是可选项。完全防住是不现实的（截图就能绕过大部分技术防护），但让采集成本高到对方觉得不划算，是完全能做到的。
第一道：数字水印
在图片中嵌入肉眼不可见的数字水印（频域水印），即使截图、裁切、压缩也能提取。被采集后可以通过水印追溯来源。工具推荐：Digimarc、国内的冷杉云库。成本约0.01-0.03元/张。
第二道：防盗链+频率限制
Nginx配置Referer白名单，非本站请求返回403或替换为警告图。同时限制单IP每分钟图片请求数（建议60次/分钟），超过阈值临时封禁。这是性价比最高的防线。
第三道：图片切片
把一张大图切成4-9个小块，前端用CSS拼回去。爬虫抓到的只是碎片，需要额外拼图才能还原。显著提高采集成本，但会增加页面加载时间。
第四道：版权声明+DMCA
网站footer标注版权声明，图片EXIF中嵌入版权信息。发现侵权后通过DMCA投诉到对方主机商或搜索引擎（Google/Bing的DMCA处理速度很快，通常48小时内下架）。
对于站群运营者来说，多站点图片保护需要系统化管理。每个站的图片都单独打水印，防盗链规则统一配置但各站独立生效，侵权监控覆盖所有站点。手工管理几个站还行，超过10个站就需要自动化了。
多站点统一防护：UC建站系统在内容中台层面做了统一图片保护——上传到中台的图片自动嵌入数字水印，分发到各站点时各站独立打可见水印，防盗链规则通过中台统一配置后同步到所有站点。不用每个站单独配置，也避免了漏配导致某个站图片裸奔的情况。手工管理10个站点的图片保护，遗漏一个站的概率超过30%；中台统一管理后，遗漏概率降到接近零。
防盗链拦截率
85%-95%
简单爬虫直接拦截
数字水印提取率
99%+
截图裁切后仍可提取
DMCA处理速度
24-48h
Google/Bing搜索结果下架
多站遗漏防护率
接近100%
中台统一配置管理
七、批量采集的效率和伦理边界
技术上讲完了，说一个比技术更重要的东西——采集的伦理边界。采集本身是中性技术，但采集的方式和用途决定了这件事的性质。几个原则能让你的采集行为停在合法合规的范围内：
采集伦理五条：
· 控制请求频率，不给目标服务器造成负担。每秒不超过1次请求是底线，大批量采集建议在凌晨低峰期进行
· 遵守robots.txt。如果目标网站的robots.txt禁止了图片目录的爬取，就不要采
· 不绕开付费墙或登录墙。需要付费或登录才能看的图片，不要通过技术手段绕过
· 采集结果仅用于内部参考（竞品分析、素材灵感），不直接对外发布
· 采集到的图片如果确实需要对外使用，走正规授权渠道或使用免版权替代方案
效率方面，一个优化过的Python采集脚本（含去重、水印识别、自动分类），单线程每小时能处理约300-500张图片。如果需要更大规模（比如每天采几千张），加上多线程和IP代理池，速度可以提到每小时2000-3000张。但速度不是最重要的——采回来3000张图，其中1000张是重复的、800张带水印不能用、500张版权状态不明不敢用，真正能用的可能只有700张。把去重和水印识别做扎实，比把下载速度翻倍有价值得多。
图片批量采集这件事，代码写得好只能说明你会爬虫，去重和水印识别做得好才说明你采回来的图真的能用。别在"怎么下载得更快"上花太多时间——把去重率从50%提到90%，比把下载速度从300张/小时提到500张/小时更有实际价值。还有一个容易被忽略的点：采回来的图片要有一套命名和分类规范。按来源站点、图片类型、采集日期建文件夹，文件名统一用"来源_类型_序号"格式。否则一个月后回头看几千张图片，完全不知道哪张从哪来的、能不能用。
