五月初接了个网站的活儿,忙活了1个月左右,先看烂大街的登高效果图,终于有所欣慰。
1、 网站背景
老板20几万买了个老域名,而且是卖相一看就很牛的域名,但是发了海量的内容就是不见排名。码迷发现该域名底子尚可,但是通过site发现,52万的收录量,绝大一部分是历史收录。
询问那边技术是否批量提交404链接,技术说因为没有旧数据就没有提交。
我去,如果不通过站长后台提交404链接,百度就会不断尝试访问旧页面,就会导致海量的404错误返回给爬虫,肯定会导致搜索引擎认为网站不稳定导致降权状态。
经过码迷半个月的推鸭子上架的折腾以及苦口婆心的劝导,技术那边终于用Wayback Machine Downloader以及其他手段找回了20来万的404链接地址,并且用百度站长的死链提交工具提交。
2、大爷永远是大爷
提交404链接后,码迷原本以为等着生效,网站权重基本就有好转,但是码迷发现,百度爬虫根本就不鸟站长后台提交的404链接,一个旧网址还破天荒爬20遍。
码迷终于明白大爷永远是大爷,说某爬虫部本来就烂的一比,看来不能指望百度死链提交工具了。
3、 我在哪里?我是谁?我应该做什么?
我现在做的是如何阻止百度不断的访问老页面。
因为爬虫对于一个网址是宝贵的资源,是有限的资源。
在固定数量的爬虫下,一定要引导爬虫尽大限度去访问质量高的页面。现在的问题是,因为摊派到旧链接的爬虫太多了,访问新内容的爬虫反而没有多少名额。那怎么办!?!
4、大光头的Broken Link Building秘笈
想起了之前拜读过的国外大光头的Broken Link Building Guide(死链404外链建设指南),里面有一段重建无效内容的章节。
大光头一比一替换死链内容显然成本太大,我有个大胆的想法,我能不能把旧的内容随机301到新内容上?会不会有效果。
那就小规模试验呗。拿了一个小站做了下目录整体301试验,可以发现百度爬虫对301的处理方法:爬虫遇到301后,交给另外一个IP的爬虫再次爬取
那么百度后续处理效果如何,我用question/51k109页面做了简单的追踪:
老页面:
新页面:
看到了没有,百度对301处理后会有两个快照,新页面反而出图了,说明301后的权重成功转移了。
好,我们开干
5、撸代码
如果访问旧的页面(旧页面的扩展名是xhtml或者asp,具体问题具体分析),就随机跳转到文章页或者学校页(文章页学校页转化搞内容质量好,具体问题具体分析)
301的见效是很快的一般顶多两个周,可以看到六月二十来号曲线往上翘了。
做SEO就是要见针插眼才能药到病除,但是不了解搜索引擎的原理是万万不行的。所以码迷的小伙伴们,当亲们聆听着风中琴声悠扬,一定要关注码迷SEO公众号,因为老司机就像一把梭子,更多的流量玩法在秋名山等你,赢了会所输了下海干活,下期杂谈不见不散。
评论列表 (0)