为您提供网站建设行业资讯、网站优化知识、主机域名邮箱、网站开发常见问题等
搜索引擎网页去重算法分析
发表日期:2014-11-18 资讯来源:佰牛科技 浏览:127
相关佰牛网络【深圳网站建设】统计数据表明:互联网上近似重复的网页的数量占网页总数量的比例高达29%,完全相同的网页大约占网页总数量的22%.研究表明,在一个大型的信息采集系统中,30%的网页是和另外70%的网页完全重复或近似重复的。
即:互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!
搜索爬虫抓取会产生网页重复的类型:
1.多个URL地址指向同一网页以及镜像站点
如:www.sina.com 和www.sina.com.cn
指向同一个站点。
2. 网页内容重复或近似重复
如抄袭、转摘的内容,垃圾信息等
网页内容近似重复检测的两种应用场合:
一:在用户搜索阶段
目标是根据与用户给定的查询词找到已有索引列表中近似重复的文档,并排序输出。
二:爬虫抓取发现阶段
对一个新的网页,爬虫程序通过网页去重算法,最终决定是否对其索引。
搜索引擎整体构架
近似重复网页类型,根据文章内容和网页布局格式的组合分为4种形式:
一:两篇文档在内容和布局格式上毫无区别,则这种重复称为完全重复页面。
二:两篇文档内容相同,但布局格式不同,则这种重复称为内容重复页面。
三:两篇文档有部分重要的内容相同,并且布局格式相同,则这种重复称为布局重复页面。
四:两篇文档有部分重要内容相同,但布局格式不同,则这种重复称为部分重复页面。
近似重复网页举例
重复网页对搜索引擎的不利影响:
正常情况下,非常相似的网页内容不能或只能给用户提供少量的新信息,但在对爬虫进行抓取、索引和用户搜索 会消耗大量的服务器资源。
重复网页对搜索引擎的好处:
如果某个网页重复性很高,往往是其内容比较比较受欢迎的一种体现,也预示着该网页相对比较重要。应予以优先收录。当用户搜索时,在输出结果排序时,也应给与较高的权重。
重复文档的处理方式:
1.删除
2.将重复文档分组
SimHash文档指纹计算方法
1)从文档中提取具有权值的 特征集合来表示文档。如:假设特征都是由词组成的,词的权值由词频TF 来确定。
2)对每一个词,通过哈希算法生成N位(通常情况是64位或更多)的二进制数值,如上图,以生成8位的二进制值为例。每个词都对应各自不同的二进制值。
3)在N维(上图为8维)的向量V中,分别对每维向量进行计算。如果词相应的比特位的二进制数值为1,则对其特征权值进行加法运算;如果比特位数值为0,则进行减法运算,通过这种方式对向量进行更新。
4)当所有的词都按照上述处理完毕后,如果向量V中第i维是正数,则将N位的指纹中第i位设置为1,否则为0。
Jacccard相似性计算方法
如上图,A和B代表2个集合,集合C代表集合A和B相同的部分。 A集合包含5个元素,B集合包含4个元素,而两者相同的元素有2个,即集合C的大小是2. Jaccard计算两个集合相同的元素占总元素的比例。
如图中,集合A和集合B共有7个不同的元素,相同元素个数2个,所以集合A和集合B的相似性为:2/7
在实际应用中,集合A 和 集合B 的特征都会经过哈希计算,转化成N位(64位甚至更多)的二进制数值,从而将集合A和B的相似性比较转化为二进制数值的比较,称为'海明距离”的比较。两 个位数相同(如均为64位)相同位置上不同的二进制数值的个数称为'海明距离”。
对给定的文档A,假设经过特征抽取--哈希指纹运算后的二进制数值是:1 0 0 0 0 0 1 0
对给定的文档B, 假设经过特征抽取—哈希指纹运算后的二进制数值是:0 0 1 0 0 0 0 1
经过比较,文档A 和 B的 第1位、第3位、第7位、第8位四个位置的数值不同,即海明距离为4. 两个文档的二进制位数不同的个数越多,海明距离越大。海明距离越大,说明两个文档不相似性越大,反之,则越小。
不同搜索引擎可能会以不同的海明距离值 来判断两个网页内容是否近似重复。相关分析认为,一般情况下,对一个64位的二进制数值来说,将海明距离<=3作为判断是否近似重复的标准比较合理.
- 内容标签:
- 搜索引擎
- 网站建设与优化
- 淘宝网店网页设计
- 深圳网站建设
- 上一条:为什么有些站点不设置关键词排名却很好?
- 上一条:积累链接平台的几种方法
- 相关资讯
-
【签约】深圳目路教育官网网站建设项目
目路SEEPATHS专注于为学生家庭提供教育升学的定制服务。团队持续运营超过8年,目前已经发展成为一家以升学结果为导向,多元化道路与学生背景条件相结合的高端专业、实现学生个性化升学规划的服务机构。
日期:2020-09-24 浏览:116 -
【签约】深圳中浩建设官网建设项目
深圳中浩建设实业有限公司成立于2000年,是一家专业从事沥青路面施工,集工程投资管理,沥青路面,彩色沥青路面,路面养护维修为一体的公司。
日期:2018-07-12 浏览:116 -
【签约】深圳财阜集团APP开发项目
财阜集团的是一家扎根香港,并专注于为所有客户和会员提供一站式海外资产配置及服务的综合集团。
日期:2019-05-03 浏览:111 -
【签约】大可智能教育信息网平台网站建设项目
大可智能教育信息网面向全国一线教师和学生,提供高考、留学、考级考试以及 各年级相关备课、迎考的专业资源。
日期:2017-09-20 浏览:111 -
【签约】深圳活石学院教育平台项目
活石学院,源自香港,提供DSE课程学习,留学权威,服务全球,以及服务香港本地中小幼升学,规划香港及海外大学本科留学,是业内首屈一指的香港教育专家。
日期:2018-11-03 浏览:109 -
网站长尾关键词优化的六大法宝
长尾关键词,按字面理解就是搜索长度长,有2至3个词组成的词语,而用户有可能会用的这些词进行搜索。那么,对于已经存在的长尾词需要怎么优化呢?接下来分享长尾词优化的六大法宝。
日期:2018-07-05 浏览:163 -
用户粘性提高才能够保证网站良性发展
网站优化都有很多公司来说都是非常重要的,因为如果你的网站上要是有更多的客户的话,那么势必要在网站优化上下一些功夫,如果网站是比较好的话,那么这种网站它的用户粘性相对来说应该是比较高的,因为用户粘性对于我们建站的人来说是非常的重要的,因为只有用户粘性能够提高的话,才能够保证我们的网站运营中能够良性发展。
日期:2018-07-05 浏览:154 -
这些网站图片优化小技巧十分受用
图片优化是网站要进行优化的一个十分重要的方面,传统意义上的优化仅仅只是图片要加alt标签或是仅仅压缩。但这样太过粗陋,以下带来详细技巧。
日期:2018-07-05 浏览:122