为什么使用robots协议，蜘蛛还会抓取？

前段时间，想做个测试，把网站设置了一下robots，禁止某个平台的蜘蛛抓取网站信息。

后面连续几天site。显示网页又收录了。

我还以为某蜘蛛不遵守协议。

直到前天晚上，某蜘蛛才停止了抓取。即使我提交收录，也是没有蜘蛛过来抓取内容的。

我觉得这时候协议才生效了。

之前，为什么不能生效，那是因为还有缓存。蜘蛛抓取robots不是实时显示的。虽然你当天就设置了。但是，蜘蛛要过一段时间才能抓取到robots协议。

这也很正常吧，为了节省一些资源，它们会过段时间就会抓取一下。要是这时候抓取到信息，那么就会遵守啦。

当然，我设置robots只是测试一下东西。以前听人提过有效，但是我不能确认。

可能会成功，也可能会失败。不测试你就不知道结果，所以我就亲自测试了。希望能有一定的作用吧。