一个500页的企业站在Google Search Console后台点开"索引→页面"报告,爬虫遇到了87个404页面、23个软404、还有16个被robots.txt屏蔽但内部链接还在指过去的孤儿页面,这126个死链占了百度蜘蛛每次抓取配额的近三成。同样的站用Screaming Frog全站爬一遍,除了这126个还多出了41个外链指向了已经不存在的外部页面、19条301重定向链中链(A跳到B、B又跳到C、C才是最终页面)。GSC告诉你"有哪些死链被搜索引擎发现了",Screaming Frog告诉你"搜索引擎还没发现的死链还有哪些"——两个工具拿到的结果拼在一起,才是一张完整的死链地图
死链这个问题很多人觉得不重要,404就404了,用户点进去看到"页面不存在"再退回来就是了。但搜索引擎不这么看。百度蜘蛛每次来抓你的网站是有配额的——假设每次来抓200个页面,其中60个返回404,等于这次抓取有30%的资源浪费在无效页面上。下次蜘蛛来的时候会减少给你的抓取配额,因为你的网站"内容有效率"太低。死链不处理不是原地踏步,是慢慢往下滑。
死链处理完整闭环 · 四步走
| 1 | 全站扫描 | 用工具爬出所有死链(站内404/外链失效/重定向链/软404) |
| 2 | 分级处理 | 有替代页→301跳转;彻底废弃→410;误报→修正链接;外链失效→替换或删除 |
| 3 | 提交死链 | 整理TXT文件提交百度站长平台+Google Search Console,每行一个URL |
| 4 | 验证闭环 | 提交后2-4周复查GSC和百度后台,确认死链从索引中移除 |
Screaming Frog和Ahrefs:一个只管爬、一个管爬+分析,选哪个看你更需要哪个
死链检测领域两座大山——Screaming Frog SEO Spider和Ahrefs Site Audit。但它们的死链检测思路完全不同:
| 对比维度 | Screaming Frog | Ahrefs Site Audit |
|---|---|---|
| 死链检测方式 | 本地软件安装,实时爬取全站每个链接并返回HTTP状态码 | 云端爬取,定期自动扫描,按周出报告 |
| 死链分类 | 404/410/500/重定向链/超时/禁止访问,按响应码分组 | 4XX客户端错误/5XX服务端错误/重定向链/孤立页面,附加修复优先级评分 |
| 外链死链检测 | 会检查站内所有出站链接是否有效 | 同样检查,且能结合外链数据库告诉你哪些外链来自高权重页面 |
| 导出能力 | 支持导出CSV/Excel/Google Sheets,可直接整理成死链提交文件 | 支持导出PDF/CSV,报告更美观但自定义筛选不如SF灵活 |
| 价格 | 免费版500 URL限制;付费版£199/年(约1800元) | 无免费版(仅7天$7试用);最低$29/月(约210元/月) |
| 适合谁 | 技术型SEO、需要导出原始数据做批量处理的人 | 想要自动定期扫描+修复建议+SEO全局数据的人 |
如果预算有限且只需要死链检测这一个功能,Screaming Frog的免费版够爬500个页面,小站完全够用。如果网站超过500页且有预算,SF付费版£199/年比Ahrefs $29/月划算——SF是一口价不限URL数,Ahrefs按URL量阶梯计价。
Google Search Console和百度站长平台:免费的官方数据,但有延迟
这两个官方工具检测死链的逻辑和爬虫工具不同:它们不是主动去爬你的网站,而是等搜索引擎蜘蛛正常抓取时遇到死链了才记录下来。好处是数据来自搜索引擎自己的视角——搜索引擎认为哪些页面是死链,哪些就是。坏处是数据有延迟,蜘蛛可能一周才来一次,你昨天刚产生的死链今天在GSC里还看不到。
GSC死链报告路径:索引 → 页面 → 查看"未编入索引"分类,筛选"未找到(404)"和"软404"。这里列出的每个URL都是谷歌已经发现但无法正常访问的页面。点击每个URL可以看到"最后抓取时间"和"引用页面"——后者告诉你死链是从哪个页面被发现的,这个信息爬虫工具给不了。
百度站长平台死链提交路径:搜索资源平台 → 数据引入 → 死链提交。上传TXT文件(每行一个完整URL,UTF-8编码),每次最多10万条。提交后处理周期2-4周,可以在后台查处理状态。

最佳组合方式:先用Screaming Frog全站爬出所有死链并修复,再把修完确认确实不需要的URL整理成TXT文件提交百度站长平台。GSC的数据用来做交叉验证——SF说死链修好了,过两周看GSC里同一条URL是否从"未编入索引"列表里消失了。
四种轻量级在线死链检测工具,按页面数量选
| 工具 | 免费限制 | 检测方式 | 适合场景 |
|---|---|---|---|
| Dead Link Checker | 免费版可检测全站,但限制检测速度和并发数 | 在线输入网址,自动爬取并标记死链 | 不想装软件、网站不到200页 |
| Check My Links | 完全免费,Chrome浏览器插件 | 只检测当前打开的这一个页面上的所有链接 | 快速抽查单个页面、内容编辑发稿前检查 |
| W3C Link Checker | 完全免费,在线使用 | W3C官方工具,逐页检测链接有效性,支持递归爬取 | 需要严格按W3C标准检查的站点 |
| Broken Link Checker(WordPress插件) | 完全免费 | 在WordPress后台自动监控所有链接,发现死链邮件通知 | WordPress站点,想要持续监控不手动检测 |
Check My Links这种浏览器插件有个特别实用的场景:发文章之前打开预览页面,点一下插件图标,3秒钟告诉你这个页面上所有链接哪些是活的哪些是死的。如果文章中引用了外部资料链接,写完稿到发布之间外部页面可能已经失效了,这个检查能避免发出去的文章带死链。
四个翻车案例:死链不处理的代价比你以为的大
案例一:产品页下架只删了页面没做301。一个电商站删除了40个停产产品页面,删完就忘了。三个月后查流量报告发现长尾词流量掉了三分之一——这40个产品页之前每天从搜索引擎带来近200个UV,每个页面都有外链指向。删了页面之后外链变成了死链,权重全部浪费。正确的做法是每个下架产品页301跳转到同类产品的分类页。
案例二:网站改版换了URL结构,旧URL全部变成404。一个企业站从ASP改版到PHP,所有页面URL从 /product.asp?id=123 变成了 /product/123。改版上线后没有做任何301映射,百度蜘蛛第二天来抓取,整个网站几百个页面全部返回404。等发现的时候索引量已经从2000多掉到300不到,恢复花了近半年。改版前必须用Screaming Frog爬出所有旧URL、做新旧URL映射表、全部配好301后再切DNS。
案例三:死链提交文件格式错误,提交了等于没交。死链TXT文件要求UTF-8编码、每行一个完整绝对URL。有人用Excel另存为TXT,编码变成了ANSI;有人在URL前面加了序号"1. https://...";有人把域名写成了相对路径"/page.html"。这三种错误提交后百度平台不会报错,但死链一条都不会被处理——2-4周后你去看索引还在。提交前用记事本打开确认编码是UTF-8,每行用浏览器直接打开确认返回404。

案例四:用robots.txt屏蔽了死链目录,但内部链接还在指过去。有人觉得"把包含死链的目录用robots.txt禁掉就行了",但蜘蛛虽然不抓这个目录了,站内其他页面上的链接还在指向这些死链。蜘蛛会记录"这个网站有一堆链接指向了被禁止抓取的页面",抓取效率评分照样往下掉。死链的正确处理是修复或301,不是屏蔽了事。
死链检测时容易漏掉的三种链接
全站扫描完导出CSV后,大部分人只盯着404看。但有三类链接虽然不是404,对SEO的伤害不比404小:
· 重定向链(Redirect Chains):A页面301跳到B,B又301跳到C。浏览器和用户感受不到中间的跳转,但搜索引擎每经过一次跳转就会损失一部分权重传递。超过3跳的重定向链,百度蜘蛛可能直接放弃追踪。用Screaming Frog的"Response Codes → Redirection (3XX)"报告,筛选"In Redirect Chain"列,找出所有链式跳转。修复方式是把A直接301跳到最终目标页C。
· 软404(Soft 404):页面URL看起来正常,HTTP状态码返回200,但页面内容实际上不存在——比如产品详情页显示"该商品已下架"但没有返回404或410。搜索引擎会自己判断这是软404并停止索引,但这个过程比识别真正的404慢得多。GSC的"软404"报告可以帮你找到这些页面。
· 孤儿页面(Orphan Pages):页面存在于服务器上、也能正常访问、甚至被收录了,但站内没有任何一个页面链接到它。用户只能通过搜索引擎或直接输入URL访问。这类页面没有内部链接传递权重,排名很难上去。Screaming Frog的"Crawl Analysis"里对比"Sitemap URLs"和"Found URLs",在Sitemap里但没被抓到的URL大概率是孤儿页面。
死链修复分四类处理,不是所有404都要做301
| 死链类型 | 处理方式 | 举例 |
|---|---|---|
| 有替代内容 | 301重定向到最相关的现有页面 | 旧产品页→新产品页;旧文章→同类新文章 |
| 内容彻底废弃 | 返回410 Gone状态码,提交死链文件 | 已过期的活动页、已下架且无替代的产品 |
| 链接写错了 | 修正页面上的链接地址 | href里多打了个字母、路径写错了 |
| 外部链接失效 | 替换为有效的外部链接,或删除该引用 | 文章里引用的第三方网站已经关闭 |
301和410的区别很多人没注意过。301告诉搜索引擎"这个页面永久移动到了新地址",权重会传递到新页面。410告诉搜索引擎"这个页面已经永久删除,不会再回来",搜索引擎会更快地从索引中移除。如果你确定一个页面永远不会再有了、也没有替代页面,用410比用404更干净。
不同网站规模的死链检测方案速查
| 网站规模 | 推荐工具 | 检测频率 | 预算 |
|---|---|---|---|
| 50页以下 | Check My Links + GSC | 每次更新内容后手动抽查 | 0元 |
| 50-500页 | Screaming Frog免费版 + GSC + 百度站长平台 | 每月一次全站扫描 | 0元 |
| 500-5000页 | Screaming Frog付费版 £199/年 + GSC + 百度站长平台 | 每两周一次,大改版后立即全站扫描 | 约1800元/年 |
| 5000页以上 | Ahrefs Site Audit $29/月起 或 SF + 自定义脚本 | 每周自动扫描 | 2500元/年起 |
死链检测这件事,工具选择取决于网站大小和检测频率需求。小站用免费工具每月扫一次就够了;中大站最好配置自动定期扫描;WordPress站点额外装一个Broken Link Checker插件做日常监控。但不管用哪个工具,检测完一定要把死链修复掉、把确认废弃的URL提交到百度站长平台——只检测不修等于白做。死链数据在Screaming Frog导出的CSV里躺三个月,和从来没有检测过,对搜索引擎来说是一样的。
