用户登录
个人主页 用户中心 我的订单 添加授权 管理授权
退出登录
用户登录 用户注册
欢迎来到 UC建站系统

链接批量导出5种方式实测效率差10倍:LinkGrabber浏览器插件F12控制台JavaScript脚本Sitemap爬虫抓取和Python写爬虫四种方案按几十个页面到几千个页面的规模各走哪条路最划算

浏览器插件能导出全站链接吗?Link Grabber、F12脚本、Sitemap爬虫和Python这5种方式我全跑了一遍,效率差到10倍

有个做SEO的朋友上周给我发了个截图:一个Excel表,里面密密麻麻列了4700多个URL。他给一个客户的网站做内容审计,手工从导航栏、列表页、内链文章一页一页复制链接,花了整整三天。中间还漏掉了一个分类页,第二天才发现,又从头补了一遍。

他说"有没有什么工具能一次性把全站链接导出来?"答案是有的,而且不止一种。但不同的工具在链接数量、导出格式、操作门槛上差得不是一点半点——同样的网站,有的工具只能抓出来200个链接,有的能抓出来5000个,有的得花半小时手工筛选,有的三秒搞定。这篇文章把主流的五种方式全跑了一遍,从最省事的浏览器插件到最灵活的Python脚本,你可以根据自己的网站类型和技术水平挑。

五种链接批量导出方式速览

1浏览器插件(Link Grabber / Extract URL):一键提取当前页面链接,导出CSV/TXT,操作最简单,适合单页/少量页面
2F12控制台脚本:复制粘贴JavaScript代码到Console,3秒导出当前页所有链接并自动去重,无需安装任何东西
3在线链接提取工具:粘贴HTML源码或URL到网页工具,适合非技术人员临时用一次
4Sitemap爬虫(Screaming Frog / Xenu / 在线sitemap解析器):自动递归爬取全站结构,导出完整的链接清单+状态码+层级深度
5Python爬虫脚本:最灵活的方式,可以自定义抓取规则、处理分页、批量导出多站,适合有技术基础的人

一、浏览器插件:Link Grabber 和 Extract URL,日常最省事的选择

如果你只是偶尔需要导出某个页面的链接,或者临时扒一下竞品网站的导航结构,浏览器插件是最快的。不需要开终端、不需要装Python环境,点两下就行。

Link Grabber

Chrome商店评分4.5+,安装后点击图标弹出一个新页面,列出当前网页所有可点击的链接(a标签、图片链接、JS生成的链接)。支持按关键词筛选、按域名分组、一键复制或导出CSV。最大优点是可以选择"选中区域"还是"整页",不会把页脚和导航的无关链接一股脑倒出来。

1 - 链接批量导出5种方式实测效率差10倍:LinkGrabber浏览器插件F12控制台JavaScript脚本Sitemap爬虫抓取和Python写爬虫四种方案按几十个页面到几千个页面的规模各走哪条路最划算 - UC建站系统

Extract URL

更轻量的选择,同样支持一键提取页面所有链接。特点是可以同时提取链接文字(anchor text),这对做SEO外链分析的人非常有用——你知道竞品的锚文本分布是怎样的。输出支持TXT和CSV两种格式。

插件的局限也很明显:只能提取当前已加载页面的链接。如果你网站的列表页是分页加载的(第1页、第2页……第50页),插件只能抓到你当前打开的那一页。想导出全站链接,你得手动翻50页,每页点一次插件,效率立刻打回原形。

适合场景:单个页面链接提取、竞品首页结构分析、导航栏/页脚链接整理、临时用一次不需要安装复杂工具。不适合全站链接导出、分页列表、动态加载页面。

二、F12控制台脚本:不装插件,三行代码搞定当前页

很多人不知道,Chrome和Edge自带的开发者工具就是一个现成的链接提取器。按F12打开控制台(Console),粘贴下面这段代码,回车,浏览器会自动收集当前页面所有a标签的href属性,去重后弹出一个新窗口,一键复制全部链接。

// 提取当前页面所有链接,去重后导出const links = [...new Set([...document.querySelectorAll('a[href]')].map(a => a.href).filter(href => href.startsWith('http')))];console.log(`共找到 ${links.length} 个链接`);const win = window.open('', '_blank');win.document.write('
' + links.join('\n') + '
');win.document.close();

这个脚本做了三件事:用querySelectorAll('a[href]')拿到所有带href的a标签,用Set去重,然后把结果输出到一个新标签页。如果你只要站内链接,在filter里加一个域名判断就行。如果要同时抓取图片链接、CSS背景图链接、iframe嵌入链接,把'a[href]'换成'a[href], img[src], iframe[src], link[href]'即可。

操作步骤

F12 → Console → 粘贴 → 回车

零安装门槛

任何Chrome/Edge都能用

可自定义程度

改filter即可筛选类型

局限

只能抓当前已渲染页面

F12脚本和插件的本质是一样的——都是在当前页面的DOM里找链接。它比插件好的地方是:不用装任何东西,不用担心插件权限问题,而且你可以随时改代码来调整筛选逻辑。如果只是想快速看一眼某个页面的链接结构,这是最干净利落的方式。

2 - 链接批量导出5种方式实测效率差10倍:LinkGrabber浏览器插件F12控制台JavaScript脚本Sitemap爬虫抓取和Python写爬虫四种方案按几十个页面到几千个页面的规模各走哪条路最划算 - UC建站系统

三、在线链接提取工具:不装插件不开F12,粘贴就能用

有些场景下,你手边不是自己的电脑——比如在客户公司演示、用公共电脑查资料,或者你用的是iPad。这时候在线工具就派上用场了。把网页的HTML源码复制粘贴进去,或者直接输入网址,工具会自动解析出所有URL。

工具名称输入方式特色功能适合谁
ToolsKit URL提取器粘贴文本/HTML/邮件内容自动去重、支持从杂乱文本中识别URL从邮件/文档中提取链接
UU在线工具粘贴HTML源码支持提取超链接+图片链接+CSS/JS引用快速查看网页资源引用
Sitemap网址提取器粘贴Sitemap URL或XML内容解析XML sitemap,统计域名和路径分布从sitemap批量导出全站链接
Multiple URL Opener粘贴URL列表反向功能——批量打开一组链接,分批+延时验证导出链接是否有效

在线工具最大的优势是跨平台、零安装。但同样绕不开"只能处理你给它的内容"这个限制。如果你手动复制了一个页面的HTML粘贴进去,它就只能提取那一页的链接。想要全站链接,你得先把全站所有页面的HTML都弄到手——这又回到了最初的难题。

小技巧:在线工具里最实用的是Sitemap网址提取器。很多网站的sitemap.xml就放在根目录(你的域名/sitemap.xml),直接把这个URL贴进去,就能把全站链接一口气导出来。前提是这个网站有生成sitemap,而且sitemap里包含了你需要的所有页面。

四、Sitemap爬虫工具:真正能导出"全站链接"的方式

前面说的三种方式(插件、F12脚本、在线工具)都有一个共同的短板:只能处理当前已加载的单个页面。如果你的网站有200篇文章分布在20个列表页里,光靠这三种方式你得手动翻20页,操作20次。真正的全站链接导出,需要的是爬虫工具——它能从一个起始URL开始,自动递归访问所有内部链接,像蜘蛛一样爬遍整个网站,把每一页的URL、标题、状态码、层级深度都记录下来。

Screaming Frog SEO Spider

桌面端的行业标杆。输入域名,它会自动爬取所有内部链接,导出CSV包含URL、标题、meta description、H1、状态码、canonical等几十个字段。免费版限制500个URL,付费版不限制数量。支持自定义爬取规则、排除特定目录、设置爬取深度。

Xenu Link Sleuth

免费老牌工具,Windows桌面软件,功能没有Screaming Frog那么丰富,但核心能力一点不差:全站爬取+死链检测+导出链接清单。界面比较古老,但在Windows 10/11上依然能跑,纯链接导出够用了。

爬虫工具的效率是前面三种方式完全不能比的。同样一个300页的网站,用插件+手工翻页可能要两小时,用Screaming Frog只需要3-5分钟,而且导出的数据维度多得多——不仅能知道有哪些链接,还能知道哪些是404、哪些是301重定向、哪些页面的title是空的。

爬虫工具导出链接的核心价值不在"链接列表"本身,而在链接附带的SEO数据。导出后你可以直接拿来做:死链批量检测(筛选状态码4xx/5xx)、重复title排查、301重定向链梳理、orphan page(孤立页面)定位——这些都是手工导出链接做不到的。

五、Python爬虫脚本:最灵活,但也最吃技术

如果你管的不止一个网站,或者爬虫工具的免费额度不够用(比如站群里有几十个站点,每个几百页),Python脚本是性价比最高的方案。一次写好,重复使用。而且你可以自定义任何逻辑:只爬特定目录、自动处理分页、导出时带上自定义字段、多个网站并行爬取。

import requestsfrom bs4 import BeautifulSoupfrom urllib.parse import urljoin, urlparseimport csvdef crawl_links(start_url, max_pages=500):visited = set()to_visit = [start_url]domain = urlparse(start_url).netlocresults = []while to_visit and len(visited) < max_pages:url = to_visit.pop(0)if url in visited:continuetry:resp = requests.get(url, timeout=10)visited.add(url)soup = BeautifulSoup(resp.text, 'html.parser')title = soup.title.string if soup.title else ''results.append([url, title, resp.status_code])for a in soup.find_all('a', href=True):href = urljoin(url, a['href'])if urlparse(href).netloc == domain and href not in visited:to_visit.append(href)except:continuewith open('links.csv', 'w', newline='', encoding='utf-8-sig') as f:writer = csv.writer(f)writer.writerow(['URL', 'Title', 'Status'])writer.writerows(results)print(f'完成:共爬取 {len(results)} 个页面')crawl_links('https://你的网站域名.com')

这个脚本的核心逻辑不复杂:从一个起始URL开始,用BeautifulSoup解析页面里的所有a标签,把同域名的链接加入待爬列表,递归访问,最后导出CSV。运行前需要pip install requests beautifulsoup4装两个依赖。如果要爬多个网站,把start_url换成URL列表,用for循环遍历即可。如果要处理JavaScript渲染的SPA页面,把requests换成Selenium或Playwright。

注意事项:Python爬虫要注意三点。一是设置合理的请求间隔(time.sleep),别把对方服务器打挂了;二是尊重robots.txt,检查目标网站是否禁止爬取;三是大规模爬取前确认网站的服务条款,商业数据采集可能涉及法律风险。

六、五种方式怎么选?一张表说清楚

3 - 链接批量导出5种方式实测效率差10倍:LinkGrabber浏览器插件F12控制台JavaScript脚本Sitemap爬虫抓取和Python写爬虫四种方案按几十个页面到几千个页面的规模各走哪条路最划算 - UC建站系统

五种方式没有绝对的"最好",只有适不适合你的场景。下面的对照表按"你想干什么"来推荐,不是按"哪个工具功能多"来推荐。

你的场景推荐方式上手时间全站覆盖
临时看一个页面的链接结构F12控制台脚本10秒✗ 仅当前页
日常偶尔导出链接、需要筛选分类浏览器插件1分钟装好✗ 仅当前页
不在自己电脑上、临时用一次在线工具打开网页即可△ 取决于输入内容
网站有sitemap、要全站链接Sitemap网址提取器1分钟✓ sitemap覆盖范围内
做SEO审计、需要链接+状态码+title等Screaming Frog10分钟学会✓ 递归爬取全站
多站批量导出、自定义规则Python脚本需编程基础✓ 完全可控

如果非要给一个通用的选型建议:单页用F12脚本(最快),全站用Screaming Frog(最省心),多站批量用Python(最灵活)。在线工具和浏览器插件是中间方案,适合特定的临时场景。

七、链接导出之后的六个常见用途

链接导出不是终点,导出之后怎么用才是关键。很多人费劲把全站链接导出来了,放在Excel里不知道下一步干什么。下面这六件事是SEO从业者最常做的:

1. 死链批量排查

导出链接后,用工具筛出4xx/5xx的URL,一次性修复或做301重定向。Screaming Frog和Xenu本身就支持这个功能。

2. 竞品网站结构分析

爬取竞品网站的全部链接,按URL路径分类,能看出对方的栏目架构、内容覆盖面和重点布局的关键词方向。

3. Sitemap生成/校验

爬取出的链接清单和现有sitemap做对比,找出sitemap里缺失的页面、或者sitemap里有但实际已不存在的页面。

4. 内容去重检查

导出所有页面title,快速筛出title重复或高度相似的页面,这些可能被搜索引擎判定为重复内容。

5. 301重定向链梳理

找出所有301跳转的链接,检查有没有跳转链过长(超过3跳)的情况,影响爬虫抓取效率。

6. 内链结构审计

导出链接后,按来源页面分组,检查重要页面是否获得了足够的内链支持,孤立页面是否被遗漏。

这六件事里,死链排查和内链审计是频率最高的。网站改版、删除页面、更换域名时,最容易出现链接断裂的问题。如果你管理的不止一个网站,每个站都手动跑一遍这些检查,工作量是指数级增长的。

八、多站场景:链接导出怎么自动化

前面说的五种方式都是针对单个网站的操作。如果你管理的是站群——比如10个、20个甚至50个独立站点——每做一个站就要手动打开Screaming Frog跑一遍、导出CSV、做死链检查、汇总数据,时间成本会非常高。

多站链接导出的三层自动化

第一层用Python脚本替代手工操作一个脚本循环遍历所有站点URL列表,自动爬取、导出、汇总到一个总表
第二层定时任务自动执行用Windows计划任务或Linux cron,每周自动跑一次全站链接审计,生成报告发到邮箱
第三层统一管理平台集中看所有站点的链接数据汇总到一个看板,自动标红死链、标黄301跳转、标绿正常页面

对于站群场景,UC建站系统的多站看板就内置了链接健康监控功能——每个站点的链接状态、死链数量、重定向链长度都在一个界面里展示,不用一个一个站去跑Screaming Frog。系统底层基于HTML直出架构,页面结构清晰,链接层级规整,爬虫工具抓取时基本不会漏掉任何页面。相比手工管理的站群,链接审计的时间从"每个站半小时"压缩到"看板扫一眼三分钟"。

实际效率对比:一个10站站群,手工导出链接+做死链检查,每个站平均40分钟,一共要花将近7个小时。用Python脚本批量处理,10个站全部跑完大约20分钟。如果有统一管理平台自动监控,每周检查一次只需要打开看板看一眼异常标记,不超过5分钟。从7小时到5分钟,效率差到80多倍。

链接导出这件事,说穿了就是三个层次的需求:偶尔看一个页面用F12脚本或插件,单个网站做深度审计用Screaming Frog,多站批量管理用Python或统一平台。选对工具层次,比纠结哪个工具功能多要重要得多。

最后说一点:不管你用哪种方式导出链接,定期做一次全站链接审计是一个性价比极高的习惯。死链会影响用户体验和搜索引擎抓取效率,重复页面会分散权重,孤立页面等于白写。导出来看一眼,花不了多长时间,但能避免很多"写了没人看"的浪费。

相关推荐
在线客服
👇找客服拿折扣
QQ咨询&售后
在线时间
11:00 ~ 5:30
QQ:3155555535
👇联系QQ
👇联系WX
首页 程序 帮助 登录