北京SEO：搜索引擎工作进程与SEO
跟踪链接
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个称号的由来。最简略的爬行遍历战略分为两种，一是深度优先，二是广度优先。【北京SEO】
深度优先查找
深度优先查找就是在查找树的每一层一直先只扩展一个子节点，不断地向纵深行进直到不能再行进(抵达叶子节点或受到深度约束)时，才从当前节点回来到上一级节点，沿另一方向又持续行进。这种方法的查找树是从树根开端一枝一枝逐步构成的。【北京SEO】
深度优先查找亦称为纵向查找。因为一个有解的问题树或许含有无量分枝，深度优先查找假设误入无量分枝(即深度无限)，则不或许找到政策节点。所以，深度优先查找战略是不齐备的。其他，应用此战略得到的解纷歧定是最佳解(最短途径)。【北京SEO】
广度优先查找
在深度优先查找算法中，是深度越大的结点越先得到扩展。假设在查找中把算法改为按结点的层次进行查找，本层的结点没有查找处理完时，不能对底层结点进行处理，即深度越小的结点越先得到扩展，也就是说先发作的结点先得以扩展处理，这种查找算法称为广度优先查找法。【北京SEO】
吸引蜘蛛
哪些页面被认为比较重要呢?有几方面影响要素：
·网站和页面权重。质量高、资历老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会有更多内页被录入。【北京SEO】
·页面更新度。蜘蛛每次爬行都会把页面数据存储起来。假设第2次爬行发现页面与榜初次录入的完全相同，说明页面没有更新，蜘蛛也就没有必要常常抓取。假设页面内容常常更新，蜘蛛就会更加一再地访问这种页面，页面上出现的新链接，也天然会被蜘蛛更快跟踪，抓取新页面。【北京SEO】
·导入链接。无论是外部链接仍是同一个网站的内部链接，要被蜘蛛抓取就有必要有导入链接进入页面，不然蜘蛛底子没有时机知道页面的存在。高质量的导入链接也常常使页面上的导出链接被爬行深度添加。一般来说网站上权重最高的是主页，大部分外部链接是指向主页，蜘蛛访问最一再的也是主页。离主页点击间隔越近，页面权重越高，被蜘蛛爬行的时机也越大。【北京SEO】
地址库
为了避免重复爬行和抓取网址，搜索引擎会树立一个地址库，记载现已被发现还没有抓取的页面，以及现已被抓取的页面。地址库中的uRL有几个来源：【北京SEO】
(1)人工录入的种子网站。
(2)蜘蛛抓取页面后，从HTML中解析出新的链接uRL，与地址库中的数据进行对比，假设是地址库中没有的网址，就存入待访问地址库。【北京SEO】
(3)站长通过搜索引擎网页提交表格提交进来的网址。
蜘蛛按重要性从待访问地址库中提取uRL，访问并抓取页面，然后把这个uRL从待访问地址库中删去，放进已访问地址库中。
大部分主流搜索引擎都供应一个表格，让站长提交网址。不过这些提交来的网址都只是存入地址库算了，是否录入还要看页面重要性怎样。搜索引擎所录入的绝大部分页面是蜘蛛自己跟踪链接得到的。可以说提交页面底子t是毫无用处的，搜索引擎更喜爱自己沿着链接发现新页面。文件存储搜索引擎蜘蛛抓取的数据存入原始页面数据库。其间的页面数据与用户浏览器得到的HTML是完全相同的。每个uRI，都有一个共同的文件编号。【北京SEO】
爬行时的拷贝内容检测
检测并删去拷贝内容一般是在下面介绍的预处理进程中进行的，但现在的蜘蛛在爬行和抓取文件时也会进行定程度的拷贝内容检测。遇到权重很低的网站上许多转载或抄袭内容时，很或许不再持续爬行。这也就是有的站长在日志文件中发现了蜘蛛，但页面从来没有被真正录入过的原因。【北京SEO】
预处理
在一些SEO材猜中，“预处理”也被简称为“索引”，因为索引是预处理最首要的进程。搜索引擎蜘蛛抓取的原始页面，并不能直接用于查询排名处理。搜索引擎数据库中的页面数都在数万亿级别以上，用户输入查找词后，靠排名程序实时对这么多页面分析相关性，核算量太大，不或许在一两秒内回来排名效果。因而抓取来的页面有必要通过预处理，为最终的查询排名做好准备。和爬行抓取相同，预处理也是在后台提前完成的，用户查找时感觉不到这个进程。【北京SEO】
1.提取文字
现在的搜索引擎仍是以文字内容为基础。蜘蛛抓取到的页面中的HTML代码，除了用户在浏览器上可以看到的可见文字外，还包括了许多的HTML格局标签、JavaScript程序等无法用于排名的内容。搜索引擎预处理首先要做的就是从HTML文件中去除标签、程序，提取出可以用于排名处理的网页面文字内容。【北京SEO】
2.中文分词
分词是中文搜索引擎特有的进程。搜索引擎存储和处理页面及用户查找都是以词为基础的。英文等言语单词与单词之间有空格分隔，搜索引擎索引程序可以直接把语句划分为单词的集结。而中文词与词之间没有任何分隔符，一个语句中的全部字和词都是连在一同的。搜索引擎有必要首先分辨哪几个字组成一个词，哪些字本身就是一个词。比方“减肥方法”将被分词为“减肥”和“方法”两个词。【北京SEO】
中文分词方法底子上有两种，一种是根据词典匹配，另一种是根据核算。
根据词典匹配的方法是指，将待分析的一段汉字与一个事前造好的词典中的词条进行匹配，在待分析汉字串中扫描到词典中已有的词条则匹配成功，或者说切分出一个单词。【北京SEO】
按照扫描方向，根据词典的匹配法可以分为正向匹配和逆向匹配。按照匹配长度优先级的不同，又可以分为最大匹配和最小匹配。将扫描方向和长度优先混合，又可以发作正向最大匹配、逆向最大匹配等不同方法。【北京SEO】
词典匹配方法核算简略，其准确度在很大程度上取决于词典的无缺性和更新情况。
根据核算的分词方法指的是分析许多文字样本，核算出字与字相邻出现的核算概率，几个字相邻出现越多，就越或许构成一个单词。根据核算的方法的优势是对新出现的词反响更快速，也有利于消除歧义。
根据词典匹配和根据核算的分词方法各有优劣，实际运用中的分词系统都是混合运用两种方法的，快速高效，又能辨认生词、新词，消除歧义。【北京SEO】
中文分词的准确性往往影响搜索引擎排名的相关性。比方在百度查找“搜索引擎优化”，从快照中可以看到，百度把“搜索引擎优化”这六个字当成一个词。
而在Google查找相同的词，快照闪现Google将其分切为“搜索引擎”和“优化”两个词。显然百度切分得更为合理，搜索引擎优化是一个无缺的概念。Google分词时倾向于更为细碎。【北京SEO】
这种分词上的不同很或许是一些要害词排名在不同搜索引擎有不同体现的原因之一。比方百度更喜爱将查找词无缺匹配地出现在页面上，也就是说查找“够戏博客”时，这四个字接连无缺出现更容易在百度获得好的排名。Google就与此不同，不太要求无缺匹配。一些页面出现“够戏”和“博客”两个词，但不用无缺匹配地出现，“够戏”出现在前面，“博客”出现在页面的其他地方，这样的页面在Google查找“够戏博客”时，也可以获得不错的排名。【北京SEO】
搜索引擎对页面的分词取决于词库的规划、准确性和分词算法的好坏，而不是取决于页面本身怎样，所以SEO人员对分词所能做的很少。仅有能做的是在页面上用某种方式提示搜索引擎，某几个字应该被作为一个词处理，尤其是或许发作歧义的时分，比方在页面标题、h1标签及黑体中出现要害词。假设页面是关于“和服”的内容，那么可以把“和服”这两个字特意标为黑体。假设页面是关于“扮装和服装”，可以把“服装”两个字标为黑体。这样，搜索引擎对页面进行分析时就知道标为黑体的应该是一个词。【北京SEO】
3.去间断词
无论是英文仍是中文，页面内容中都会有一些出现频率很高，却对内容没有任何影响的词，如“的”、“地”、“得”之类的助词，“啊”、“哈”、“呀”之类的感叹词，“然后”、“以”、“却”之类的副词或介词。这些词被称为间断词，因为它们对页面的首要意思没什么影响。英文中的常见间断词有the，a，an，to，of等。【北京SEO】
搜索引擎在索引页面之前会去掉这些间断词，使索引数据主题更为突出，削减无谓的核算量。
4.消除噪声
绝大部分页面上还有一部分内容对页面主题也没有什么贡献，比方版权声明文字、导航条、广告等。以常见的博客导航为例，几乎每个博客页面上都会出现文章分类、前史存档等导航内容，可是这些页面本身与“分类”、“前史”这些词都没有任何联系。用户查找“前史”、“分类”这些要害词时只是因为页面上有这些词出现而回来博客帖子是毫无意义的，完全不相关。所以这些区块都归于噪声，对页面主题只能起到涣散效果。【北京SEO】
搜索引擎需求辨认并消除这些噪声，排名时不运用噪声内容。消噪的底子方法是根据HTML标签对页面分块，区分出页头、导航、正文、页脚、广告等区域，在网站上许多重复出现的区块往往归于噪声。对页面进行消噪后，剩余的才是页面主体内容。
5.去重
搜索引擎还需求对页面进行去重处理。
同一篇文章常常会重复出现在不同网站及同一个网站的不同网址上，搜索引擎并不喜爱这种重复性的内容。用户查找时，假设在前两页看到的都是来自不同网站的同一篇文章，用户体会就太差了，虽然都是内容相关的。搜索引擎希望只回来相同文章中的一篇，所以在进行索引前还需求辨认和删去重复内容，这个进程就称为“去重”。【北京SEO】
去重的底子方法是对页面特征要害词核算指纹，也就是说从页面主体内容中选取最有代表性的一部分要害词(常常是出现频率最高的要害词)，然后核算这些要害词的数字指纹。这儿的要害词选取是在分词、去间断词、消噪之后。试验标明，一般选取10个特征要害词就可以达到比较高的核算准确性，再选取更多词对去重准确性提高的贡献也就不大了。
典型的指纹核算方法如MD5算法(信息摘要算法第五版)。这类指纹算法的特点是，输入(特征要害词)有任何细小的改动，都会导致核算出的指纹有很大差距。
了解了搜索引擎的去重算法，SEO人员就应该知道简略地添加“的”、“地”、“得”、互换阶段次第这种所谓伪原创，并不能逃过搜索引擎的去重算法，因为这样的操作无法改动文章的特征要害词。而且搜索引擎的去重算法很或许不止于页面级别，而是进行到阶段级别，混合不同文章、交叉互换阶段次第也不能使转载和抄袭变成原创。【北京SEO】
6.正向索引
正向索引也可以简称为索引。
通过文字提取、分词、消噪、去重后，搜索引擎得到的就是共同的、能反映页面主体内容的、以词为单位的内容。接下来搜索引擎索引程序就可以提取要害词，按照分词程序划分好的词，把页面转换为一个要害词组成的集结，一同记载每一个要害词在页面上的出现频率、出现次数、格局(如出现在标题标签、黑体、H标签、锚文字等)、位置(如页面榜首段文字等)。这样，每一个页面都可以记载为一串要害词集结，其间每个要害词的词频、格局、位置等权重信息也都记载在案。【北京SEO】
搜索引擎索引程序将页面及要害词构成词表结构存储进索引库。简化的索引词表方式如表2-1所示。
每个文件都对应一个文件ID，文件内容被表明为一串要害词的集结。实际上在搜索引擎索引库中，要害词也现已转换为要害词ID.这样的数据结构就称为正向索引。【北京SEO】
7.倒排索引
正向索引还不能直接用于排名。假设用户查找要害词2，假设只存在正向索引，排名程序需求扫描全部索引库中的文件，找出包括要害词2的文件，再进行相关性核算。这样的核算量无法满足实时回来排名效果的要求。
所以搜索引擎会将正向索引数据库从头结构为倒排索引，把文件对应到要害词的映射转换为要害词到文件的映射，如表2-2所示。【北京SEO】
在倒排索引中要害词是主键，每个要害词都对应着一系列文件，这些文件中都出现了这个要害词。这样当用户查找某个要害词时，排序程序在倒排索引中定位到这个要害词，就可以马上找出全部包括这个要害词的文件。
8.链接联系核算
链接联系核算也是预处理中很重要的一部分。现在全部的主流搜索引擎排名要素中都包括网页之间的链接活动信息。搜索引擎在抓取页面内容后，有必要事前核算出：页面上有哪些链接指向哪些其他页面，每个页面有哪些导入链接，链接运用了什么锚文字，这些杂乱的链接指向联系构成了网站和页面的链接权重。【北京SEO】
Google PR值就是这种链接联系的最首要体现之一。其他搜索引擎也都进行类似核算，虽然它们并不称为PR.
因为页面和链接数量巨大，网上的链接联系又时时处在更新中，因而链接联系及PR的核算要耗费很长时刻。关于PR和链接分析，后面还有专门的章节介绍。
9.特别文件处理
除了HTML文件外，搜索引擎一般还能抓取和索引以文字为基础的多种文件类型，如PDF、Word、WPS、XLS、PPT、TXT文件等。我们在查找效果中也常常会看到这些文件类型。但现在的搜索引擎还不能处理图片、视频、Flash这类非文字内容，也不能执行脚本和程序。【北京SEO】
虽然搜索引擎在辨认图片及从Flash中提取文字内容方面有些行进，不过间隔直接靠读取图片、视频、Flash内容回来效果的政策还很远。对图片、视频内容的排名还往往是根据与之相关的文字内容，详细情况可以参看后面的整合查找部分。
排名
通过搜索引擎蜘蛛抓取的界面，搜索引擎程序核算得到倒排索引后，收索引擎就准备好可以随时处理用户查找了。用户在查找框填入要害字后，排名程序调用索引库数据，核算排名闪现给客户，排名进程是与客户直接互动的。【北京SEO】
