Robots这样写，就能避免蜘蛛爬这个index.htm首页？

做SEO技术排查时，经常会碰到这样一种首页结构：

https://www.example.com/

可以正常访问。

同时：

https://www.example.com/index.htm

打开以后也是完全相同的首页。

于是搜索蜘蛛可能同时访问：

/

和：

/index.htm

服务器日志里甚至会长期看到Baiduspider、Googlebot、Bingbot不断抓取index.htm。

很多站长第一反应就是：

既然根目录 / 才是我真正想保留的首页，那能不能直接在robots.txt里禁止蜘蛛抓取 /index.htm？

比如这样写：

User-agent: *
Disallow: /index.htm

答案是：

可以阻止遵守robots.txt规则的搜索蜘蛛继续抓取以/index.htm开头的URL，但如果/index.htm和/实际上是同一个首页，我通常更建议先做301永久重定向，而不是单纯依靠robots屏蔽。

原因在于：

robots解决的是“能不能抓”，301解决的是“哪个URL才是真正的首页”。

这两个问题并不完全一样。

第一：Disallow: /index.htm到底会不会生效？

会。

Google目前对robots.txt的解释非常明确：

Disallow: /index.htm

表示对应User-agent不能访问匹配这个路径的URL。Google会按照robots.txt里的路径规则判断抓取权限，而且路径匹配区分大小写。

百度同样明确说明：

Disallow可以是一条完整路径，也可以作为URL路径前缀；以该值开头的URL都可能被禁止访问。

所以：

User-agent: *
Disallow: /index.htm

会阻止：

/index.htm

而且因为它本身属于前缀匹配，还可能继续匹配类似：

/index.htm?from=abc
/index.htm?id=1
/index.htmxxxx

这点需要注意。

如果你的目标就是：

所有以/index.htm开头的URL都不让搜索蜘蛛访问。

这样写通常没问题。

第二：如果只想精确禁止/index.htm，可以怎么写？

如果真正只想屏蔽：

https://www.example.com/index.htm

但不希望误伤其他以index.htm开头的地址，可以考虑使用：

User-agent: *
Disallow: /index.htm$

这里：

$

表示URL结束。

Google目前支持*和$这类robots.txt通配符，其中$代表网址结尾。

百度蜘蛛同样支持：

*

和：

$

其中$就是匹配行结束符。

所以：

Disallow: /index.htm$

表达会更加准确：

只禁止这个明确的index.htm地址。

不过如果网站还存在：

/index.htm?xxx

这样的参数版本，因为URL后面还有查询参数，单独使用$时需要继续测试实际匹配情况。对于一个正常企业网站，更根本的方法仍然是把这些首页版本统一掉。

第三：但如果index.htm就是重复首页，我不建议把robots作为第一处理方案

这才是这个问题最重要的地方。

假设：

https://example.com/

和：

https://example.com/index.htm

内容完全一样。

真正的问题其实不是：

蜘蛛为什么抓index.htm？

而是：

为什么网站同时存在两个可以访问的首页URL？

从SEO角度看，更理想的状态应该只有一个正式首页：

https://example.com/

然后：

https://example.com/index.htm

直接：

301
↓
https://example.com/

这样用户和搜索蜘蛛访问旧首页时都会得到一个清楚信号：

index.htm已经永久迁移到根目录首页。

这比直接robots禁止更加合理。

因为robots只是告诉蜘蛛：

不准进。

301则告诉蜘蛛：

这个旧URL以后应该由这个新URL替代。

对于URL规范化来说，后者的信息明显更加完整。

第四：为什么先robots屏蔽，反而可能影响搜索引擎处理这个重复首页？

因为搜索引擎如果不能抓取/index.htm，就无法正常查看这个URL返回了什么。

例如你已经设置：

/index.htm
↓ 301
/

但同时又在robots.txt里：

Disallow: /index.htm

搜索蜘蛛可能首先读取robots规则，然后直接停止访问/index.htm。

那么它就没有机会通过HTTP请求正常看到：

301 Moved Permanently

这个迁移信号。

同样，如果index.htm页面内部设置：

<link rel="canonical" href="https://example.com/">

但robots已经禁止抓取页面，搜索蜘蛛也可能无法正常读取这个Canonical。

所以如果你的真实目标是：

让搜索引擎逐渐把index.htm合并到根目录首页。

优先应该使用：

301。

而不是先封robots。

第五：robots.txt也不能保证index.htm彻底从搜索结果消失

这一点尤其容易误解。

很多人认为：

Disallow: /index.htm

等于：

Google以后绝对不会收录这个URL。

并不是。

Google官方明确说明：

如果一个页面被robots.txt禁止抓取，Google虽然无法抓取页面内容，但仍然有可能通过其他网页上的链接发现这个URL，并在某些情况下把URL本身显示在搜索结果里，只是可能没有正常摘要。

百度过去公开的robots说明同样提到，禁止抓取以后，由于用户可能存在搜索该网址的需求，搜索结果仍可能展示网址和标题，只是不展示正常摘要。

所以：

robots主要控制抓取。

它本身并不是最合适的：

删除索引工具。

如果目标是让重复首页逐步退出搜索结果，URL规范化通常更加重要。

第六：如果目标是“不收录”，应该用robots还是noindex？

这两个同样不能混淆。

robots.txt：

Disallow: /index.htm

主要解决：

不要抓取。

而：

<meta name="robots" content="noindex">

解决：

这个页面不要进入搜索索引。

但如果想让Google、Bing看到noindex，搜索蜘蛛首先需要能够访问页面。

Bing目前的官方说明就特别提醒：

如果使用noindex删除页面索引，必须允许Bingbot抓取这个URL，因为Bing需要访问页面才能看到noindex；不要同时使用robots.txt把页面挡住。

所以千万不要写成：

robots.txt:
Disallow: /index.htm

同时又期待搜索引擎读取：

<meta name="robots" content="noindex">

这两个信号可能互相打架。

第七：重复首页到底应该怎么处理？优先级其实很清楚

假设网站目前存在：

https://www.example.com/

和：

https://www.example.com/index.htm

而且两个地址打开内容完全一样。

我更建议按照下面的顺序处理。

第一优先：301统一URL

设置：

/index.htm
↓ 301
/

最终只保留：

https://www.example.com/

作为正式首页。

第二优先：Canonical统一

根目录首页：

<link rel="canonical" href="https://www.example.com/">

如果技术原因暂时不能301，index.htm也可以明确Canonical指向根首页。

不过对于真正永久重复的首页，301通常更加直接。

第三优先：站内链接全部统一

检查：

Logo；

导航；

面包屑；

Footer；

文章链接。

不要一部分写：

/

另一部分继续链接：

/index.htm

如果网站自己一直大量链接index.htm，搜索蜘蛛自然会不断发现它。

第四优先：Sitemap只保留正式首页

Sitemap里应该写：

https://www.example.com/

不要继续提交：

https://www.example.com/index.htm

第五优先：检查外部链接和历史设置

如果旧模板、广告或者其他页面还长期指向index.htm，可以逐步修改。

这样整个网站发送出去的信号就统一了。

第八：那robots到底什么时候适合屏蔽？

robots更适合处理：

确实不希望搜索蜘蛛浪费抓取资源的URL。

例如：

后台目录；

某些站内搜索；

无价值筛选参数；

重复排序URL；

程序生成的大量动态地址。

百度就曾专门建议网站利用robots.txt阻止蜘蛛进入大量低价值参数页面，避免形成所谓“蜘蛛黑洞”，浪费抓取资源。

例如：

User-agent: *
Disallow: /admin/
Disallow: /*?sort=

这种就非常符合robots的使用场景。

但对于：

/index.htm

这种代表首页的重复URL，问题核心其实是：

URL规范化。

而不是抓取预算。

第九：为什么搜索蜘蛛会一直抓index.htm？

如果服务器日志一直看到：

Baiduspider → /index.htm
Googlebot → /index.htm
Bingbot → /index.htm

可以继续找来源。

常见原因有：

1. 网站首页Logo链接写成了/index.htm

蜘蛛每访问一个页面，都重新发现它。

2. 导航首页链接写成index.htm

同样会产生大量内部入口。

3. Sitemap里还存在这个URL

等于网站自己不断告诉搜索引擎：

这里有一个页面。

4. 外部网站长期链接这个地址

历史链接可能一直存在。

5. 搜索引擎以前已经知道这个URL

即使现在改掉内链，搜索蜘蛛仍可能在一段时间内继续复查旧URL。

所以如果发现蜘蛛抓取频繁，不要第一步就屏蔽。

先查：

蜘蛛为什么能一直找到它。

这比直接Disallow更容易解决根本问题。

第十：一个比较推荐的最终状态是什么？

如果正式首页确定为：

https://www.example.com/

我更建议最终达到：

https://www.example.com/
→ 200 OK
→ Canonical指向自己
→ Sitemap包含这个URL
→ Logo和首页导航都指向这个URL

然后：

https://www.example.com/index.htm
→ 301
→ https://www.example.com/

这时候通常没有必要再额外写：

Disallow: /index.htm

让搜索蜘蛛偶尔访问旧地址，看到301并逐渐理解迁移关系，本身没有什么问题。

等搜索系统重新处理以后，对index.htm的抓取通常也会逐渐减少。

这种状态比单纯robots封掉更加干净。

第十一：如果因为服务器限制，暂时确实只能用robots怎么办？

如果当前技术架构暂时不能做301，而且你明确只想减少蜘蛛抓取index.htm，可以先使用：

User-agent: *
Disallow: /index.htm$

Google和百度当前都支持$作为URL结束匹配。

如果还存在参数版本，则需要结合网站真实URL结构进一步处理。

修改以后，还可以使用：

百度搜索资源平台Robots工具

检查规则是否按照预期生效。百度目前仍然提供robots.txt创建、校验和生效检查能力。

Google则可以结合robots规则测试和服务器日志确认Googlebot后续访问变化。

但仍然要记住：

这是减少抓取的方法，不是最理想的重复首页规范化方法。

最后：Robots可以阻止蜘蛛爬index.htm，但先问清楚为什么要阻止

所以回到最开始的问题：

Robots这样写，就能避免蜘蛛爬这个index.htm首页吗？

如果写：

User-agent: *
Disallow: /index.htm

确实可以阻止遵守robots.txt协议的搜索蜘蛛抓取匹配的index.htm路径。

如果只想精确匹配：

User-agent: *
Disallow: /index.htm$

会更加明确。

但如果：

/index.htm

和：

/

实际上只是两个重复首页，我更建议优先做：

/index.htm → 301 → /。

再把：

Canonical；

Sitemap；

站内链接；

首页导航

全部统一到：

/

这样解决的是根本问题：

到底哪个URL才是正式首页。

robots.txt真正擅长解决的是：

蜘蛛不应该抓哪些URL。

301擅长解决的是：

旧URL已经永久迁移到哪里。

Canonical解决的是：

一组相似页面里哪个URL应该作为主要版本。

noindex解决的是：

页面可以抓，但不要进入索引。

把这四个概念分清楚以后，很多robots问题其实就不复杂了。

对于重复的index.htm首页，真正更干净的SEO处理通常不是：

想办法让蜘蛛永远看不到它。

而是清楚告诉搜索引擎：

这个旧首页以后统一归到根目录首页。