码迷SEO内参(一):百度搜索引擎的工作原理及流程

作者:码迷 阅读:3161 点赞:617

众所周知,百度的搜索引擎系统分为:抓取系统、快照存储系统、页面分析系统、索引系统、检索召回系统等几个重要系统。关于百度搜索引擎的基本原理和流程,大家可以参考痞子瑞的《SEO深度解析》一书中的“搜索引擎原理”部分。码迷这一部分与痞子瑞老师的略有不同,对百度搜索引擎的基本原理和流程做了更深入的拆解分析

关于码迷

7年SEOer,摩天楼内容助手作者,专注SEO算法研究,精益科学SEO鉴定倡导者。QQ号码2027725943 ,欢迎志同道合的朋友加我交流。

碎碎念

很多同行说做百度SEO越来越难了,说百度等搜索引擎的份额被如今的自媒体抢占了很多流量,SEO没法做了云云。

但是很多公司反馈,百度的流量转化率还是要高于抖音之类的自媒体。

我觉得SEO并不是越来越难,只是你没有改变而已。

经过十几年的发展,百度搜索引擎已经发生了很多很多的变化,而你还是原地踏步而已。我从12左右开始接触SEO,优化的手段也不断的升级迭代,但是很多同行的手段却一直停留在16年之前了。

做SEO没有长久的“秘笈”,重要的是主动跟上搜索引擎算法步伐,然后做实验找规律,再用合理的手段把优化做到极致就行了。

基本概述

很多书籍对搜索引擎原理仅仅提到了倒排索引,而更多的书籍只是将内容处理、链接处理、用户体验稍微说了一下。其实百度搜索引擎是一项十分复杂的工程,搜索引擎除了做正向好事儿,如防作弊、提拔优质内容等等、还有些不乖乖的处理流程,如人工干预、圈流量策略也是很重要的一块。

码迷认为搜索引擎的大体架构如图:

大致分为百度爬取、百度查询2个部分。

百度爬取部分

步骤01

百度爬虫发现网页,爬取网页html内容

步骤02

百度对爬回来的网页进行初步的页面分析。先进行分词,去除停止词。

步骤03

这一步主要做初步网页评定。

对分词后的网页通过向量空间模型初步做分类判定;

通过相关性算法提取相关词,判定主题集中程度;

通过结构相似性、文本相似性算法判定原创度;

通过信息熵等手段判定是否有恶意广告;

最后进入反*黄*赌*毒*系统等等。

步骤04

如果内容过关,百度将该网页分词结果存取到有效索引倒排中,并抽取网页内容结构化数据(标题、摘要、内容等等),快照存档。

百度查询部分

步骤01

首先对用户输入的查询词分词处理,通过用户地理位置、个性化信息、机器学习预测查询词的实体类型,预测第2需求词,第3需求词等。

比如搜“火车票”,那么“火车票查询”、“火车票12306”、“火车票改签”这些需求词也将会纳入用户需求中。第N需求词,也叫后续词,通过对后续词做文章,也可以优化排名。

如何用后续词获取排名,码迷稍微在之前的博文《黑帽SEO案例分析:配合「摩天楼SEO工具」浅析黑帽大神的SEO手段》做了提及,如果你功夫到家,自然也会明白逆冬的手段。如果看不出来也没关系,码迷会在以后的章节中会详细给大家讲。

步骤02 粗排环节

“粗排”这个概念,码迷最先见于Zero的公众号文章《我是如何把「SEO」这词排名到百度首页的》。

粗排是百度通过布尔模型,在海量信息中查找符合需求词组的N个文档。再通过与训练好的结果模型做向量距离比较,过滤出M个文档,再通过结果距离算法获取前O个文档集合,再通过BM25相关性得分取出TOP760文档集合

比如百度专利《201610214064.0信息搜索方法和装置》中举了,刘德华老婆的例子。你搜“刘德华老婆”的时候,如果你的页面里面没有“朱丽倩”,说明网页内容很差,很大程度上进不了粗排队列。

打个广告:摩天轮内容助手这款工具,可以精准预测到相关词,推荐大家使用

095478.jpg

步骤03 细排环节

综合每个文档对应的链接权重得分、点击日志得分、网页加载速度、相关性得分、查询结果类别策略等,再塞入人工干预的内容,结合用户日志分析(快排)将最终的排序结果呈现给用户。

大家喜闻乐见的、经久不衰的快速排名手段,如“7天上首页”,就是干预精排中的点击策略,影响了百度预测的正向结果模型,促使短期上首页

总结

其实我们做SEO啊,应该知道,人最宝贵的东西是生命。生命属于我们只有一次。

SEOer的一生应当这样度过:

当回忆往事的时候,他不为网站降权而痛悔,也不为被K站而羞愧;

在临死的时候,他能够说:"我的整个生命和全部精力,都已经献给世界上最壮丽的事业!为跟百度争SEO流量而斗争。

百度李老板的终极目的都是为了赚钱,我们做SEO也是为了圈住部分流量来赚钱。

现在的搜索引擎已经不再单纯很久了,如何在李老板眼皮底下获取更多的流量,我们从下一节开始正式开始探讨了。

文末福利

今天就这些, 下一节我们将科学探讨“百度蜘蛛抓取规律以及蜘蛛类型”方面的秘密,码迷期待你的关注 。微信公众号优质评论前10名将会获得码迷整理的66个百度专利,先到先得。

本系列首发于www.mamioo.com,同步发布于公众号”码迷SEO“,未经允许不可转载。

本文网址: https://www.mamioo.com/seojishu/section-2

本站内容均为「码迷SEO」原创整理,未经授权严禁采集转载,违者必究。