新招裱，中裱，招工信息.
,山东 - 理智网络科技】D话13336351924,山东 - 理智网络科技】上班时间8:00-17:00,山东 - 理智网络科技】薪遇平均月,山东 - 理智网络科技】加M费多少?怎么走山东 - 理智网络科技】地址:
,山东 - 理智网络科技】销售J格表,山东 - 理智网络科技】Y业时间表(图),山东 - 理智网络科技】团购优H券,山东 - 理智网络科技】新招工,山东 - 理智网络科技】经理_董事长的儿女,山东 - 理智网络科技】营业部,网点,柜台,可服,点餐,咨询投诉13336351924,山东 - 理智网络科技】app,VX群山东 - 理智网络科技】小程序,山东 - 理智网络科技】下班时间8:00-17:00
?
山东 - 理智网络科技搜索引擎工作原理是如何抓取文章和收录文章的
? ?搜索引擎从抓取页面和页面收录到页面排名的过程的算法是非常复杂的，现在我们简单研究下搜索引擎的是如何从页面抓取和页面收录到页面页面排名的。一、二、三、四、五、六、七、八、九、十、接下来我们的分析这只是搜索引擎工作的一个皮毛而已，不过对我们网站优化一斤足够了。一、二、三、四、五、六、七、八、九、十、
? ? 搜索引擎的工作原理大概分为三个部分：爬行和抓取，收录，网页排名。一、二、三、四、五、六、七、八、九、十、
? ? 爬行和抓取：就是搜索引擎蜘蛛跟踪连接访问页面，获取页面内容然后保存到数据库。一、二、三、四、五、六、七、八、九、十、
? ? 网站收率：索引程序把抓来的页面的内容提取，文字分词，索引处理，并保存到索引数据库以备排名查询。一、二、三、四、五、六、七、八、九、十、
? ? 网站排名：当用户输入关键词后，排名程序调用索引程序数据库的数据，计算相关心，然后根据算法相应的将数据展示出来。一、二、三、四、五、六、七、八、九、十、
? ? 爬行和抓取
? ? ?搜索引擎的第一步工作就是先爬行然后把爬行到的数据保存到数据库，完成页面内容的收集任务。一、二、三、四、五、六、七、八、九、十、
? ? 1.蜘蛛
? ? ?搜索引擎用来爬取页面的工具叫做蜘蛛也叫机器人，就是搜索引擎写的一个爬去页面的程序。一、二、三、四、五、六、七、八、九、十、
? ? 搜索引擎在抓取页面和我们平时访问网站类似，就是通过链接向目标服务器发送请求，目标网站接到请求后把页面内容返回我们或者搜索引擎蜘蛛，然后搜索蜘蛛把目标服务返回的内容保存到搜索引擎的数据库，搜索引擎为了爬去和抓取进度，平时会使用多个蜘蛛并发爬行和抓取。一、二、三、四、五、六、七、八、九、十、
? ? 蜘蛛在访问每个网站时都会先访问该网站根目录下的robots.txt文件，如果有robots.txt文件,搜索引擎蜘蛛将严格按robots.txt的指令来执行，不会抓取robots.txt文件禁止抓取的网址。一、二、三、四、五、六、七、八、九、十、
? ? 搜索引擎蜘蛛在抓取网站时也有身份的代理名称，我们可以在网站的日志文件查看，平时我们想看搜索引擎蜘蛛没有爬行和抓取我们的网站就可以查看日志文件看搜索引擎蜘蛛有没有访问过我们的网站。一、二、三、四、五、六、七、八、九、十、下面列常见的几个搜索引擎在网站日志文件的代理名称：
? ? BaiduSpider+(+http://www.baidu.com/search/spider.html) ? 百度蜘蛛代理名称。一、二、三、四、五、六、七、八、九、十、
? ? Mozilla/5.0(compat;Yahoo!Slurp China;http://misc.yahoo.com.cn/help.html) ? 雅虎蜘蛛。一、二、三、四、五、六、七、八、九、十、
? ? Mozilla/5.0(compat;Yahoo!Slurp/3.0;http://help.yahoo.com/help/us/ysearch/slurp) ? 英文雅虎蜘蛛。一、二、三、四、五、六、七、八、九、十、
? ? Mozilla/5.0(compat;Googlebot/2.1;+http://www.google.com/bot.html) ?谷歌蜘蛛。一、二、三、四、五、六、七、八、九、十、
? ? msnbot/1.1(+http://search.msn.com/msnbot.htm) ? ? ? ? ? ?微软Bind蜘蛛。一、二、三、四、五、六、七、八、九、十、
? ? Sougo+web+robot(+http://www.sougou.com/docs/help/webmasters.htm#07) ? 搜狗蜘蛛 。一、二、三、四、五、六、七、八、九、十、
? ? Sosospider+(+http://help.soso.com/webspider.htm) 搜搜蜘蛛 。一、二、三、四、五、六、七、八、九、十、
? ?2.链接跟踪 ??
? ? ? 搜索引擎为了抓取更多的页面，搜索引擎会跟踪抓取页面上没有禁止抓取的页面，从一个页面爬到下一个页面来抓取，就好似蜘蛛在网上不停的来回爬动，搜索引擎蜘蛛这个名称的原因。一、二、三、四、五、六、七、八、九、十、
? ? 搜索引擎蜘蛛爬行一般爬行策略分为两种，一种是深度优先，一种是广度优先。一、二、三、四、五、六、七、八、九、十、
? ? 深度优先：是指蜘蛛沿着一个链接一直想前爬行，直到前面在没有其他链接，然后在返回第一页沿着另一条链接向下爬行。一、二、三、四、五、六、七、八、九、十、
? ? 广度优先：是指蜘蛛在一个页面发现多个链接是，不是顺着一个链接一直向前而是把页面上的链接爬去一遍，然后在爬行发现的第二层链接爬一遍，接下来就是爬去第三层。一、二、三、四、五、六、七、八、九、十、
? ?不管是深度优先还是广度优先只要时间够搜索引擎蜘蛛都能爬完整个互联网，一般情况下蜘蛛的带K和时间都不是无限的不肯能爬完所有的页面，一般搜索引擎的爬去和收录只占了互联网很小的一部分。一、二、三、四、五、六、七、八、九、十、
? 3.吸引蜘蛛
? ? 理论上蜘蛛可以爬完网站的所有页面但是实际情况由于某种原因蜘蛛并不能把网站的所有文件爬完所有链接，既然不能抓取所有页面，那么蜘蛛就尽量抓取重要的页面，哪些页面比较重要呢？有一下几方面因素。一、二、三、四、五、六、七、八、九、十、
? ?3.1网站和页面权重，质量高的网站被认为权重比较高这样的网站蜘蛛爬行的深度也会比较高，所被收录的页面也比较多
? ?3.2内容更新的频次，蜘蛛每次爬行都会把爬行到的连接和内容保存到数据，如果爬行第一次和第二的内容没有变化更新，蜘蛛就不会经常来你的网站爬行和抓取了，如何蜘蛛每次来你的网站都有新的内容供蜘蛛抓取，这样蜘蛛就会经常来你的网站爬行和抓取，这样收录的页面比较多，权重自然就会上去了。一、二、三、四、五、六、七、八、九、十、
? ?3.3网站链接导入入口，无论是外部链接还是内部链接，要想被蜘蛛抓取就必须要有链接导入入口，否则蜘蛛就找不到你的链接页面。一、二、三、四、五、六、七、八、九、十、导入链接入口多，也可以是蜘蛛爬行深度高。一、二、三、四、五、六、七、八、九、十、
? ?3.4与首页距离近，因为一般权重高的页面就是首页。一、二、三、四、五、六、七、八、九、十、大部分外链指向的也是首页所以蜘蛛最先爬行的也是首页，离首页点击越近的页面权重也越高。一、二、三、四、五、六、七、八、九、十、
? 4.地址数据库
? ? 搜索引擎为了避免重复爬行和抓取页面，搜索引擎建立了一个地址数据库，记录抓取的连接和发现还没有抓取的页面。一、二、三、四、五、六、七、八、九、十、
? ?地址库的url有一下集来源。一、二、三、四、五、六、七、八、九、十、
? ?4.1人工输入的网站连接。一、二、三、四、五、六、七、八、九、十、
? ?4.2搜索引擎蜘蛛抓取页面内容后从页面内容提取出新的网站连接，与地址数据库的连接对比看看此链接在没在地址数据库如果在数据库就不抓取，如何改连接不在地址数据就抓取改连接到地址数据库。一、二、三、四、五、六、七、八、九、十、
? ?4.3通过搜索引擎官网把要抓取链接提交到地址数据库等待搜索引擎蜘蛛抓取。一、二、三、四、五、六、七、八、九、十、
? 5.文件存储
? ?搜索引擎抓取的数据保存到原始页面的库，抓取的数据和我们用浏览器访问的数据相同，抓取的每一个url都有一个唯一的编号。一、二、三、四、五、六、七、八、九、十、
转载：感谢您对星光博客网站平台
联Q：