链接批量提取和友链巡检完整流程：30个站查友链有没有被下页面有没有被植入竞品链接站内死链有多少条，手动干了两天没干完换三工具配合一个下午全跑完

今年年初接手了一批老站，30多个域名分布在不同的服务器和CMS上，第一件事就是摸底——这些站之间有没有互相链、友链还在不在、有没有被黑产偷偷塞了隐藏链接。一开始用最笨的办法，Chrome打开每个页面，右键"检查元素"，一行行翻a标签，手动复制到Excel里。翻了三天，眼睛都花了，只弄完了7个站。最坑的是中间还漏了一个站被植入了博彩站点的隐藏外链，要不是百度站长平台发了警告邮件，根本发现不了。

后来痛定思痛，花了半天时间把市面上主流的链接批量提取工具挨个测了一遍，最后固定了三工具搭配的流程。如果你也有类似的需求——不管是站群友链巡检、竞品外链分析、死链排查，还是从一堆页面里批量导出某个区块里的所有URL——这篇文章里整理的工具和方法应该能省下不少时间。

一、先分清你需要的是"页面级提取"还是"整站级爬取"

链接提取工具看着都差不多，但实际分两大类，选错了类型会浪费大量时间。第一类是页面级提取：打开一个网页，一键提取这个页面里的所有a标签链接。典型场景是你在浏览一个友链交换平台的目录页，想把列出来的几百个网站URL一次性导出来。第二类是整站级爬取：输入一个域名，工具自动模拟搜索引擎蜘蛛，递归爬取整个网站的所有页面，同时记录每个页面上的所有内链和外链。

两者的区别不只在"量"上。页面级提取只能拿到当前页面渲染出来的链接——如果链接是通过JS异步加载的、或者藏在iframe里，大部分页面级工具就抓不到。整站级爬取可以设置爬取深度、排除规则、自定义User-Agent，更适合SEO审计和站群管理的场景。

二、页面级提取：三个场景对应的最快方案

页面级提取是使用频率最高的场景。打开一个页面，点一下按钮，所有链接自动列出来，支持筛选、去重、导出。下面三种方案覆盖了最常见的三个子场景。

Link Grabber还有一个容易被忽略的功能：按域名分组和过滤。假设你在一个友链交换平台的目录页提取了500条链接，里面混杂了平台自身的链接、广告链接和真正的目标站点链接。在Link Grabber的结果列表里按域名筛选，输入目标域名关键字，只保留你需要的链接，一键复制到Excel。这个筛选功能在面对页面噪音很大的场景时特别实用。

三、整站级爬取：Screaming Frog vs Xenu vs 在线工具，怎么选

当你需要爬整个网站的所有链接——包括JS渲染出来的、藏在CSS里的、iframe里的、甚至是被robots屏蔽的——页面级工具就不够用了。整站级爬取工具模拟搜索引擎蜘蛛的行为，从首页开始逐层深入，记录每一页上的每一条链接。下面是三款最主流的工具。

如果你管理的是5个以内的站，Xenu完全够用了——免费、轻量、死链检测比Screaming Frog还快。但一旦站数上去了，Xenu没有项目管理功能，每次都要重新输入URL、重新配置参数，30个站反复操作会让你抓狂。

Screaming Frog虽然付费，但它有一个决定性的优势：项目保存和批量对比。你可以把每个站保存为一个项目文件，下次打开直接跑。更关键的是，它能把两次爬取的结果做diff——上个月爬出来200条外链，这个月变成180条，少了哪20条、多了哪条新链接，一目了然。这对友链巡检来说是核心需求。

四、我的三工具配合流程：一个下午跑完30个站

经过多次试错，现在固定下来的流程是Xenu做初筛 → Screaming Frog做深度审计 → Link Grabber做临时抽查，三个工具各司其职。

这个流程的关键不是工具本身，而是分层的思路：不要把每个站都深度爬一遍，那样时间根本不够。先用最轻最快的工具扫一轮，把有问题的站筛出来，再把精力集中在问题站上做深度分析。30个站里通常只有3-5个需要进第二步，其余的一次初筛就够了。

五、站群场景下的四个特殊需求

链接批量提取在单站场景下已经很成熟了，但站群场景会冒出几个单站工具应付不了的需求。

这里特别提一下跨站外链交叉比对这件事。如果站群规模到了20个以上，光靠手动Excel匹配还是太慢。这时候可以考虑用UC建站系统的多站看板来做集中管理。系统统一抓取每个站的外链数据，在同一个看板上展示所有站的友链状态——哪个站的友链被下了、哪个站多出了异常外链，看板上一目了然，不用再逐个站导出CSV做VLOOKUP。多站链接状态的集中监控，靠手工和通用工具很难持续。

六、三个容易被忽略但非常重要的细节

七、免费工具 vs 付费工具，真实的边界在哪

这个问题每个站长都会遇到。Xenu完全免费，Link Grabber免费，在线提取器免费——看起来免费方案已经够用了。但当你把使用频率和站点数量考虑进去，边界就出来了。

本质上，免费和付费的分界线不在功能上——Xenu的功能对于死链检测来说已经很强了——而在于效率和持续性。免费工具每次都要手动操作，3个站的时候还能接受，10个站开始就吃力了，30个站的时候你会发现每个月都在做重复劳动。付费工具（或者系统化管理方案）的核心价值是把重复流程自动化，让你的时间花在分析数据而不是收集数据上。