如果没有规范搜索引擎机器人爬(抓取)网页，将会对网站造成那些的影响?

为什么需要控制搜索引擎机器人?

用搜索引擎机器人来爬(抓取)互联网，查找和索引新的信息内容并提供浏览者信息搜索，这就是互联网上所用来散布消息的方式。

搜索机器人拜访你的网站，主要的任务是要抓取你网站的上的内容，所以它们最可能从首页开始，它们轻松的的找出网站的每一个链接一个接着一个，直到发现全部的内容。

所以一个搜索引擎机器人访客，可能潜在影响数百个用户资源，就算没有上千个访客在你的网站上，一个资源使用到极限的网站，最后可能会让网站停止运作，如果只允许真的人拜访的话，这是可以避免的，并且设置只有好的搜索机器人可以进入你的网站，所以这是很重要的观念。

如何控制搜索机器人?

幸运的是，大多数的守规矩的搜索机器人，是会跟随一个标准化的robots.txt规则文档，如果你需要进一步的了解，如何阻挡搜索机器人检索你的网站，你可以观看这篇文章「如何使用robots.txt阻止搜索引擎爬(抓取)你的网站?」

不幸的是，不是全部的自动化机器人都会顺从robots.txt规则，在这种情况下，最好的方式就是学习「使用.htamless去阻止不需要的访客到你的网站」