网站文章越来越多以后,经常会出现一个很典型的问题:
新文章明明已经发布了,为什么搜索引擎过了很多天还没有发现?
有些网站发布一篇文章,很快就能在搜索资源平台里看到抓取记录;另外一些网站文章已经发布一周,搜索蜘蛛甚至还没有访问过URL。
很多站长遇到这种情况,第一反应就是:
再提交一次链接。
链接提交当然有价值,但搜索引擎发现一个新页面,并不只依赖站长平台。
它还会通过:
首页。
栏目页。
内部链接。
RSS。
外部链接。
站长平台主动提交。
不断发现新的URL。
所以如果一个网站持续生产内容,我更建议在首页、栏目页或者内容中心设计一个稳定的:
最新文章板块。
让每一篇新内容发布以后,都能够立即从搜索蜘蛛经常访问的重要页面获得入口。
这套方法解决的核心问题其实很简单:
缩短新URL从“发布成功”到“被搜索引擎发现”的距离。
第一:先分清楚“文章已经发布”和“搜索引擎已经发现”
比如今天上午发布:
https://www.example.com/seo/article-311/
浏览器可以正常打开。
WordPress后台显示:
已发布。
只能说明这个URL已经存在。
搜索引擎是否知道它存在,是另外一件事情。
Google当前抓取与索引文档仍然把Sitemap定义为告诉Google网站上新增或更新页面的重要方式,同时也会通过网站内部链接持续发现URL。
百度搜索资源平台对普通收录工具的说明也很明确:
资源提交可以缩短Baiduspider发现新链接的时间。
因此发布新文章以后,需要继续解决:
页面存在
↓
搜索蜘蛛知道URL
↓
安排抓取
↓
分析内容
↓
决定是否索引
“最新文章板块”主要帮助第一、第二步之间的连接。
第二:为什么首页的“最新文章”特别有价值?
假设一个网站有500篇文章。
新文章发布以后,只存在于:
/seo/article-311/
网站其他地方完全没有链接。
这相当于在一栋500个房间的大楼里新建一个房间,却没有任何走廊指向它。
搜索蜘蛛当然仍然可能通过Sitemap或者主动提交发现。
但如果首页同时存在:
最新文章
并立即新增:
文章311
文章310
文章309
文章308
文章307
那么搜索蜘蛛重新访问首页时,就能够继续沿着这些链接发现新页面。
这就是最新文章板块最基础的SEO价值:
给新内容提供一个高层级内部链接入口。
Google明确要求重要页面应该能够通过站内其他页面的可抓取链接被发现,并建议使用正常的<a href>链接帮助Google发现其他页面。
第三:最新文章板块应该放多少篇?
没有一个搜索引擎官方规定:
必须展示10篇。
真正需要根据网站更新频率判断。
例如:
每周发布2—3篇
首页显示:
5—10篇最新文章。
基本足够。
每天发布5—10篇
可以考虑展示:
10—20篇。
同时让栏目页继续承担更多最新内容入口。
每天发布几十篇
首页没有必要塞几十条文章。
可以采用:
首页最新文章
↓
最新内容页
↓
栏目最新文章
↓
具体文章
建立多层发现结构。
真正需要保证的是:
新文章发布以后,不要长时间成为没有任何内部链接的孤立URL。
第四:最新文章链接一定要是真正可抓取的HTML链接
页面视觉上能够点击,不代表搜索蜘蛛一定容易发现。
比较标准的方式是:
<a href="https://www.example.com/seo/article-311/">
网站新文章标题
</a>
Google当前链接最佳实践明确指出,可抓取链接通常应该由带有href属性的<a>元素构成。
需要谨慎的是这种设计:
点击卡片
↓
JavaScript读取文章ID
↓
再动态跳转
如果整个最新文章板块没有正常URL链接,搜索蜘蛛发现效率可能下降。
所以首页可以有漂亮动画。
卡片也可以有复杂交互。
但文章标题或者卡片本身最好仍然存在正常:
<a href="">
链接。
第五:栏目页也应该拥有自己的“最新内容”
假设网站有:
SEO。
GEO。
企业官网。
内容运营。
几个核心栏目。
新发布一篇SEO文章以后,除了首页最新文章,也应该同步进入:
/seo/
栏目页。
于是搜索蜘蛛可以通过两条路径发现:
首页
↓
新文章
以及:
SEO栏目
↓
新文章
如果文章数量继续增加,还可以形成:
首页
↓
栏目
↓
文章
这种清楚的网站层级。
网站规模越大,栏目页越重要。
如果500篇文章全部只依赖首页发现,首页很快无法承载。
第六:新文章最好同时获得相关旧文章的内部链接
“最新文章”解决的是时间入口。
“相关文章”解决的是主题入口。
例如新文章:
Sitemap里有大量转码链接,是否有影响?
网站已经存在:
Sitemap是什么?
Sitemap三种格式有什么区别?
如何提交Sitemap?
那么发布新文章以后,可以从这些相关旧文章里增加自然内链。
这样新文章会同时获得:
首页最新文章
+
SEO栏目
+
相关历史文章
三个入口。
搜索蜘蛛从任何相关页面进入,都有机会发现它。
而且这种内部链接还会告诉搜索系统:
这些页面属于同一个主题。
所以真正成熟的新文章发布流程,不应该只增加一条首页链接。
还应该做:
主题内链。
第七:最新文章板块不要无限增长
有些网站为了让所有文章都离首页很近,直接在首页放:
100篇。
200篇。
甚至全部历史文章。
这样又走向另一个极端。
首页应该承担:
品牌。
核心业务。
重点内容。
重要入口。
它没有必要变成网站全部URL列表。
最新文章板块只需要保留最近一段时间的内容。
例如新文章发布以后:
311进入
↓
最旧一篇退出
退出首页并不意味着它从网站消失。
它仍然存在于:
栏目页。
分页。
相关文章。
主题页。
Sitemap。
这就是正常网站结构。
第八:如果网站文章很多,可以单独做“最新文章页”
例如:
/latest/
这个页面持续按照发布时间展示最新内容。
首页只展示10条。
然后增加:
查看全部最新文章
进入:
/latest/
这样搜索蜘蛛从首页进入以后,还可以继续发现更多最近更新内容。
对于更新特别频繁的网站,这种结构比较实用。
但最新文章页仍然应该:
正常分页。
拥有可抓取链接。
不要只依赖无限滚动。
否则用户能不断往下滑,搜索蜘蛛却未必能够正常发现所有历史URL。
第九:Sitemap必须同步更新,不能只靠首页最新文章
最新文章板块和Sitemap解决的是不同入口。
Google明确说明,Sitemap可以告诉Google哪些页面是新增或更新内容,并建议持续保持Sitemap更新。
所以新文章发布以后,理想状态应该是:
发布文章
↓
自动进入栏目
↓
进入首页最新文章
↓
进入XML Sitemap
如果使用WordPress,大部分成熟SEO插件或者CMS已经可以自动生成和更新Sitemap。
需要重点检查:
新文章URL有没有真正进去。
是不是Canonical URL。
有没有误放Noindex页面。
有没有把404、参数、重定向URL大量放进去。
Google也明确建议Sitemap优先包含希望进入搜索结果的Canonical URL。
第十:百度新文章可以配合API提交
对于百度搜索,新文章发布以后还可以继续配合资源提交。
百度搜索资源平台官方指南明确表示:
普通收录支持:
API提交。
Sitemap提交。
手动提交。
其中API属于更快速的提交方式,建议将当天新产生的优质链接及时推送。
所以如果网站更新频率较高,可以做成:
WordPress发布
↓
获得最终URL
↓
自动进入Sitemap
↓
自动调用百度API
↓
保存提交结果
这样运营人员就不用每天复制粘贴URL。
但仍然要记住:
提交帮助百度更快发现链接,不代表提交以后一定收录。
百度对快速抓取的说明同样明确表示,提交可以优先帮助发现和抓取,但不保证最终收录和搜索展现。
第十一:Bing可以使用IndexNow通知新文章
如果做Bing,以及支持IndexNow的其他搜索引擎,可以进一步配置:
IndexNow。
IndexNow允许网站在页面:
新增。
修改。
删除。
时主动通知支持该协议的搜索引擎。
Bing当前官方说明明确表示,IndexNow可以在内容新增或更新后及时通知Bing,并帮助缩短发现和抓取变化的时间。
WordPress目前很多常见SEO插件已经支持IndexNow。
所以一篇文章发布以后,可以同时出现:
首页最新文章
+
栏目内链
+
XML Sitemap
+
百度资源提交
+
IndexNow
这就形成了比较完整的新URL发现体系。
第十二:Google的重要新页面,可以使用URL Inspection请求重新抓取
如果是一篇非常重要的新页面,比如:
核心服务页。
重大行业研究。
重要产品页。
可以通过Google Search Console的URL Inspection检查URL,并在符合条件时请求索引。
但Google明确提醒:
Request Indexing存在配额,更适合重要URL使用。
因此没有必要:
每天发布50篇。
人工对50篇全部点一次Request Indexing。
普通内容更适合依靠:
内链。
Sitemap。
正常抓取。
来形成长期稳定发现机制。
第十三:为什么有了最新文章板块,文章还是可能不收录?
因为:
发现 ≠ 收录。
最新文章板块只能增加搜索蜘蛛看到URL的机会。
例如搜索蜘蛛通过首页发现:
/article-311/
访问以后发现:
内容与已有文章高度重复。
Canonical指向另一个页面。
页面存在Noindex。
正文价值很低。
服务器返回错误。
那它仍然可能不进入索引。
Google当前明确说明,Sitemap提交也只是帮助发现URL,并不能保证页面一定被抓取或者索引。
Bing对于IndexNow也同样说明:
URL提交成功,只代表搜索引擎知道页面发生变化,不保证一定抓取或收录。
所以新文章SEO需要分成两个阶段:
第一阶段
让搜索系统尽快发现。
第二阶段
让页面具备独立索引价值。
两件事情不能混在一起。
第十四:新文章发布以后,建议检查Canonical和状态码
例如最新文章板块已经链接:
https://example.com/article-311/
结果页面Canonical却是:
https://example.com/article-310/
那搜索引擎很可能把311判断成310的重复版本。
又比如首页链接到:
/article-311
它再:
301
↓
/article-311/
虽然最终仍然可以抓取,但内部链接最好直接指向最终Canonical URL。
Google明确建议站点内部统一使用首选Canonical URL,并尽量避免不必要的重定向链。
所以新文章发布系统最好自动检查:
最终URL
状态码200
Canonical正确
允许索引
确认以后再进入最新文章板块。
第十五:首页最新文章不要只显示标题,最好让主题更清楚
例如:
最新文章
下面只有:
查看详情
查看详情
查看详情
查看详情
搜索和用户都很难判断这些链接分别是什么。
更合理的是直接展示文章标题:
网站文章为什么不收录?
怎么查看SEO关键词排名?
Sitemap转码链接有影响吗?
响应式模板怎么做移动优化?
Google当前内部链接建议强调:
锚文本应该具有描述性,让用户和Google能够知道目标页面大概是什么。
因此最新文章模块的链接文字最好直接使用:
文章标题。
而不要全部使用:
查看更多。
第十六:更新时间同样可以显示,但不要制造虚假“最新”
最新文章板块最好根据真实:
datePublished
或者实际更新规则排序。
如果一篇2023年的文章只是后台自动把时间改成:
今天更新
正文实际没有任何变化,然后长期占据“最新文章”,没有太大意义。
真正发生实质更新的文章,当然可以重新进入更新内容区域。
例如:
搜索平台规则变化。
工具界面更新。
数据发生变化。
原文章补充大量新内容。
这才属于真正的内容更新。
“最新”应该代表:
页面真的新增或者更新了有价值的信息。
第十七:新文章发现速度还和服务器抓取效率有关
有些网站最新文章、Sitemap、API全部做了。
搜索蜘蛛还是很慢。
这时候需要继续检查:
服务器稳定性。
DNS。
大量5XX。
页面响应。
垃圾URL数量。
Google当前针对大型或快速更新网站的抓取预算指南明确指出,保持Sitemap更新、减少Soft 404、减少长重定向链,并让页面加载更高效,都有助于搜索系统更有效地抓取网站。
所以“新文章抓取慢”有时候并不是文章入口不够。
而是搜索蜘蛛访问整个站点的效率本身就比较低。
第十八:500篇以上的网站,更应该把“新文章发现”做成自动流程
如果网站一年只有20篇文章,人工处理完全没问题。
如果已经准备做:
500篇。
1000篇。
持续内容运营。
就应该把这些动作系统化。
例如:
文章发布
↓
状态码检查
↓
Canonical检查
↓
进入对应栏目
↓
首页最新文章自动更新
↓
Sitemap自动更新
↓
百度API提交
↓
IndexNow
↓
保存提交日志
这样SEO人员不用每天做:
复制URL。
打开站长平台。
逐条提交。
再回来记录。
人的时间应该留给:
选题。
搜索意图。
内容质量。
内链。
数据分析。
第十九:真正值得做的“最新文章板块”,应该同时满足这6点
可以直接检查:
1. 首页能够直接访问
搜索蜘蛛经常访问的重要入口。
2. 使用可抓取HTML链接
文章标题拥有真实href。
3. 自动显示最近发布内容
不用人工每天维护。
4. 链接直接指向最终Canonical URL
不要再经过多次跳转。
5. 同步进入对应栏目
首页只是第一层入口。
6. 旧文章退出首页以后仍然能够通过栏目、分页和内链发现
这样才是一套稳定的内容结构。
最新文章板块为什么能帮助新文章更快被搜索发现?
回到文章标题。
原因其实很简单。
新页面发布以后,搜索引擎必须先知道:
这个URL存在。
最新文章板块做的事情,就是把新URL迅速挂到一个搜索蜘蛛已经熟悉、并且会持续重新访问的重要页面上。
于是:
首页已经被频繁抓取
↓
首页出现新文章链接
↓
搜索蜘蛛发现新URL
↓
访问文章
↓
后续进入索引判断
再配合:
栏目页。
相关文章。
Sitemap。
百度资源提交。
IndexNow。
Google URL Inspection。
新文章就拥有了多条发现路径。
百度官方明确把资源提交定义为缩短新链接被搜索发现时间的重要工具;Google则持续建议通过可抓取内链和更新Sitemap帮助系统发现新增或更新页面;Bing的IndexNow进一步提供了主动通知内容变化的方式。
所以真正高效的新文章SEO发布流程,可以记成:
新文章发布
↓
首页最新文章
↓
对应栏目
↓
相关文章内链
↓
XML Sitemap
↓
搜索平台主动通知
↓
检查抓取
↓
检查索引
↓
观察排名与流量
首页最新文章板块只是其中一环,但它非常值得做。
因为它把每一篇刚发布的内容,从一个孤立URL,立即接入网站现有的链接结构。
对于持续运营几百、上千篇内容的网站来说,这种稳定的内部发现机制,往往比每天手工反复提交URL更加重要。
真正值得长期建设的,是让网站形成这样一种能力:
新文章一发布,就自动进入网站结构;搜索蜘蛛一回来,就有机会马上发现它。
评论
欢迎留下你的看法,评论会按站点设置审核展示。
0 条评论
还没有评论,来写下第一条吧。
请先登录后即可评论
登录评论已关闭