有些时候,网站主并不希望某些页面被抓取,例如依不同条件排序的商品列表页面、某些无意义的页面,或是仍在测试阶段的页面等等,为避免搜索引擎因为爬取这些页面而耗费网站其他部分被抓取的时间,或是因爬取某些页面而造成服务器流量的负担,便可以利用robots.txt文档来指示这些网络爬虫(又称作网络蜘蛛、爬虫程序、网络机器人、检索器)。 以下做详细哦明:robots.txt如何运作 搜索引擎的主要任务可以大概分成几项:在开始爬取网站的内容前,搜索引擎的网络爬虫会先到网站根目录下寻找这个
码迷SEO
242
#SEO
#seo