发了300篇文章只收录了40篇,剩下的260篇是内容太差还是提交方式不对?排查了5个环节才发现问题出在第三步
有个做内容站的同行最近很崩溃。三个月发了300篇文章,百度只收了40篇,收录率13%。他第一反应是内容质量不行,花了两周把文章全部重写了一遍,收录率涨到15%——基本等于没变。后来拉了一个技术SEO帮忙排查,发现真正的问题跟内容质量关系不大:他的robots.txt把整个/wp-content/目录禁了,导致所有配图蜘蛛爬不到,百度判断页面结构不完整降低了收录优先级;同时他只在百度后台手动提交了几次URL,从来没配过API自动推送。
收录率低这件事,大部分人的第一反应都是"内容不够好",但实际上影响收录的因素至少有五个环节,任何一个环节出问题都会导致大批量页面不被收录。内容质量只是其中一环。
收录率排查的五个环节,按顺序逐个过
| 1 | 能不能被抓到:robots.txt是否误封、noindex标签、链接是否可被发现 |
| 2 | 抓取预算够不够:Googlebot/百度蜘蛛来了多少次、抓了多少页、有没有浪费在垃圾页面上 |
| 3 | 提交通道对不对:是否主动推送了URL、用的哪种推送方式、有没有覆盖所有搜索引擎 |
| 4 | 页面值不值得收:内容质量、重复度、结构化数据、页面加载速度 |
| 5 | 外链信号够不够:站外有没有其他网站引用了你的页面、域名权威度如何 |
大多数人的排查顺序是倒过来的——一上来就怀疑内容不行(第四环节),然后开始砸外链(第五环节),结果前三个技术环节的坑一个没填,收录率当然上不去。正确的做法是从第一个环节开始,逐个排除。
一、先确认搜索引擎能不能抓到你的页面
收录的前提是抓取。如果蜘蛛连你的页面都访问不到,后面一切免谈。这个环节有三个最容易被忽略的坑:

坑一:robots.txt误封
很多WP站点默认的robots.txt会禁止/wp-content/目录,但你的图片、CSS、JS全在这个目录里。百度蜘蛛抓不到这些资源,会判定页面结构不完整。检查方法:百度站长平台→抓取诊断→输入URL看抓取结果。
坑二:noindex标签残留
有些网站在开发阶段设置了全站noindex,上线后忘了改回来。或者在Yoast/All in One SEO插件里某个分类被设成了noindex。在浏览器里打开页面,右键查看源代码,搜索"noindex",一行就能确认。
坑三:页面没有入站入口
如果一篇文章发布了但没有被任何其他页面链接(孤岛页面),搜索引擎就很难发现它。GSC里"已发现但未收录"的报告里大量URL都是这种情况。解决方法:每篇文章至少从两个其他页面链接过来。
这三个坑排查起来花不了半小时,但很多人跳过了这一步直接去改内容。先打开百度站长平台的抓取诊断工具,输入几个没被收录的URL,看看抓取结果里有没有异常状态码、是否缺失资源文件。GSC的"索引→页面"报告也能看到"已抓取但未收录"和"发现但未抓取"的数量。
二、抓取预算被浪费在了哪里
抓取预算(Crawl Budget)是搜索引擎给每个网站分配的抓取额度。假设百度每天来你的网站抓200个页面,如果你有3000个页面待收录,理论上要15天才能全部抓完一轮——但前提是这200次抓取都用在了该抓的页面上。
现实中大部分网站的抓取预算都被垃圾页面浪费了。最典型的几种预算黑洞:
| 浪费来源 | 典型URL特征 | 处理方法 |
|---|---|---|
| 分页无限深度 | /page/100/ 甚至 /page/500/ | 限制分页深度,超过50页用noindex |
| 筛选参数页 | ?sort=price&color=red&size=xxl | robots.txt屏蔽参数页,用canonical指向主URL |
| 搜索内页 | /search?q=xxx | robots.txt禁止/search/目录 |
| 标签/分类页 | /tag/某个生僻标签 | 只开放高价值标签,其余设noindex |
| 已删除页面仍返回200 | 产品下架但页面还在 | 返回410状态码,或301跳转到替代页 |
怎么知道抓取预算有没有被浪费?
看服务器日志。把最近30天的访问日志导出来,筛选出百度蜘蛛(Baiduspider)和Googlebot的请求,按URL模式分组统计。如果发现/feed/、/trackback/、/?p=xxx这类URL占了抓取请求的30%以上,说明大量预算被浪费了。GSC的"抓取统计"报告也能看到每天的平均抓取量和响应时间,响应时间越慢抓取预算越少。
一个小型网站(500页以内)一般不需要担心抓取预算问题。但如果你的网站超过3000页,或者URL里有大量参数变体,那清理垃圾URL比多做100个外链更能提升收录率。
三、提交通道才是被忽略的关键环节
前面说的那位同行,排查到最后发现最致命的问题就是提交方式。他以为在百度后台手动提交了几次URL就够了,但实际上手动提交的URL百度并不会优先抓取——真正起作用的提交方式是API自动推送和Sitemap。
三种提交方式的实际效果差异
| API自动推送 | 文章发布时实时推送给百度/Google,百度后台收到后会在数小时内安排抓取。这是收录速度最快的方式,但需要有开发能力接入百度推送API和Google Indexing API。 |
| Sitemap提交 | 把网站所有URL生成一个XML文件提交给搜索引擎,蜘蛛按图索骥。谷歌的Sitemap处理效率很高,百度相对慢一些。适合作为API推送的补充,不要只靠它。 |
| 手动提交 | 在百度站长后台粘贴URL提交。每次最多20条,效率极低。百度对单页面手动提交的优先级也不如API推送。只适合偶尔提交一条重要页面。 |
百度的提交体系分两层:普通收录和快速收录。普通收录所有人都能用,API提交每天不限量,Sitemap也走普通收录通道。快速收录需要申请权限,每天有配额限制(通常是10条),但效果明显更好——走快速收录的URL通常在48小时内就能在搜索结果里看到。
谷歌这边除了Sitemap,还有一个容易被忽略的工具:Google Indexing API。它原本是为Job Posting和Live Stream设计的,但实际上任何类型的页面都能用这个API提交,而且提交后几小时内就会被抓取。配置方法:Google Cloud Console里启用Indexing API → 创建服务账号 → 把服务账号邮箱加到GSC的用户权限里 → 用服务账号的JSON密钥调用API。代码大概20行就能搞定。
# 调用Google Indexing API提交URLimport google.authfrom googleapiclient.discovery import buildcreds, project = google.auth.default(scopes=['https://www.googleapis.com/auth/indexing'])service = build('indexing', 'v3', credentials=creds)body = {'url': 'https://你的网站.com/新文章/', 'type': 'URL_UPDATED'}service.urlNotifications().publish(body=body).execute()百度API推送的代码结构类似,核心是拿到站点的token后POST一组URL过去:
# 百度普通收录API推送import requestsurl = 'http://data.zz.baidu.com/urls?site=你的网站.com&token=你的token'headers = {'Content-Type': 'text/plain'}data = 'https://你的网站.com/文章1/\nhttps://你的网站.com/文章2/'requests.post(url, headers=headers, data=data)另外别忘了Bing的IndexNow。Bing和Yandex都支持这个协议,页面更新后Ping一下IndexNow的API,两个搜索引擎同时收到通知。WordPress有现成的IndexNow插件,装上一劳永逸。

如果你是做多站矩阵的
用UC建站系统的双通道推送,百度API和IndexNow同时打通,每个站点发布新内容后自动推送到百度、Google、Bing三个搜索引擎。多站看板里统一看每个站的推送成功率、索引覆盖率、收录趋势,不用逐个站登录后台检查。一个站配一套推送逻辑是开发成本,十个站就是运营灾难——系统化推送管理才能让收录率稳定。
四、页面质量,搜索引擎觉得你值不值得收
前三个环节排查完如果收录率还是低,这时候才轮到来审视内容质量。但"内容质量"不是玄学,有几个具体的量化指标可以对照检查:
重复度
你的文章和其他已收录页面内容相似度多高?百度对高度重复的内容会直接跳过,Google会标记为"已抓取但未收录"。用GSC的"排除原因"报告可以看到有多少页面因为"重复,已选择其他规范页面"被排除。30%以上重复页面比例就需要重新做内容差异化。
内容深度
百度2025年之后明显加强了对"浅层内容"的过滤。一篇文章如果只有300-500字、全是泛泛而谈没有具体数据和方法,收录概率远低于1500字以上的深度内容。不是因为字数本身,而是字数反映了内容的实用价值。
页面加载速度
移动端LCP超过2.5秒的页面,Google会降低抓取优先级。百度虽然没有明确的CWV指标,但页面打不开或加载超过5秒,蜘蛛会直接放弃这次抓取。服务器响应时间建议控制在500ms以内。
结构化数据
有没有Schema标记?Article、FAQ、BreadcrumbList这些结构化数据帮助搜索引擎理解页面内容类型。GSC里有专门的"增强功能"报告,可以看到哪些页面的结构化数据有错误。
还有一个容易被忽略的点:更新时间。百度对"僵尸站"(超过3个月没有任何新内容的网站)会降低抓取频率。Google更宽容一些,但如果一个站长期不更新,新发布的内容收录速度也会变慢。保持每周至少更新2-3篇文章的节奏,让搜索引擎维持"这个站是活的"的判断。
五、内链结构决定了新页面被发现的速度
搜索引擎发现新页面主要靠两种方式:Sitemap和已有页面的链接。如果你的Sitemap更新不及时、内链结构又很弱,新发布的文章可能要过一两周才会被蜘蛛发现——等发现了,时效性内容的热度已经过了。
内链优化对收录速度的提升非常直接。一个简单的操作:在首页或栏目页加一个"最新文章"模块,每发布一篇新文章自动出现在这个模块里。百度蜘蛛通常会频繁回访首页,通过首页链接可以在几小时内发现新内容。
| 内链策略 | 对收录的作用 | 实现方式 |
|---|---|---|
| 首页最新文章模块 | 让新页面从最高权重入口被发现 | WP最新文章小工具或自定义查询 |
| 同主题文章互链 | 形成主题集群,互相传递抓取信号 | 文章底部"相关推荐"插件 |
| Pillar Page枢纽页 | 一个高权重页面链接到所有子话题 | 手动创建专题聚合页 |
| 面包屑导航 | 帮蜘蛛理解页面层级关系 | BreadcrumbList Schema + HTML |
| HTML Sitemap | 集中暴露所有重要URL | 生成一个包含所有文章链接的页面 |
有个简单的内链健康检查方法:打开GSC的"页面"报告,看"已发现但未抓取"的数量。如果这个数字很大(超过总URL数的20%),说明蜘蛛知道了这些URL但没来抓——原因往往是这些页面缺少来自高权重页面的入站链接。
六、按照网站不同阶段,该优先抓什么
| 网站阶段 | 最影响收录的因素 | 优先做的事 |
|---|---|---|
| 新站(0-3个月) | 搜索引擎还没建立抓取节奏,蜘蛛来得少 | 1. 所有搜索引擎站长平台认领验证 2. 配置API自动推送+IndexNow 3. 提交Sitemap 4. 每天保持更新至少1篇内容 |
| 成长期(3-12个月) | 内容质量参差不齐,部分低质量页面拖累整体 | 1. 清理重复/低质量内容 2. 优化内链结构,建立主题集群 3. 排查抓取预算浪费 |
| 成熟期(1年以上) | URL膨胀、抓取预算不足、旧内容过时 | 1. 服务器日志分析抓取浪费 2. 旧内容批量更新+重新提交 3. 合并薄内容页面 4. 提升域名外链权威度 |
新站收录慢是正常的,百度对新域名的观察期通常在1-3个月。这段时间最重要的是让蜘蛛知道你的存在并且建立抓取节奏——保持稳定更新、主动推送、Sitemap正确配置。别在这个阶段花太多精力在外链上,蜘蛛还没来,外链信号传不进去。
收录率提升的投入产出比排序
最高ROI(零成本,效果立竿见影):配置API自动推送 → 修复robots.txt和noindex → 清理垃圾URL释放抓取预算
中等ROI(需要时间和人力):优化内链结构 → 提升内容深度和差异化 → 配置结构化数据
长线投资(需要持续投入):建设高质量外链 → 提升域名权威度 → 主题集群内容策略
大部分收录率问题,在做到"API推送+Sitemap+robots清理+垃圾URL治理"这四个动作之后,收录率就能从十几涨到四五十。剩下的提升空间确实需要靠内容质量和外链去争取,但至少先吃下这波最容易拿到手的红利。
收录率从10%拉到50%,靠的不是写更好的文章,而是让搜索引擎有路可走、有信号可收、有预算可花。等你把这几个技术环节跑通了,再回过头来审视内容质量——到那个时候你会更清楚哪些内容是真的不行、哪些只是被技术问题耽误了。
