行业资讯

谷歌开发实时索引系统:数秒内抓取内容更新
    据国外媒体今日报道,谷歌正在开发一套系统,使得任何规模的网站发布者都能够向谷歌自动提交内容,从而使其内容在发布后几秒钟内被谷歌索引,方便搜索者及时获得网站最新信息。

新的篇章

美国搜索引擎技术网站SearchEngineLand主编丹尼·苏利文(Danny Sullivan)认为,这将为谷歌掀开新的篇章。

谷歌PubSubHubbub(以下简称“PuSH”)实时同步协议开发主管布伦特·斯拉特金(Brett Slatkin)去年秋天曾表示,他希望谷歌有朝一日能够用PuSH协议来索引网络内容,而不再借助已经使用多年的爬虫技术。谷歌高级产品经理狄伦·凯西(Dylan Casey)周二在加州圣克拉拉举行的搜索营销大会(Search Marketing Expo)上表示,该公司很快就将为网站所有者提供一种标准的方式,使之可以获得与PuSH类似的效果。

运作方式

PuSH是一种基于ATOM格式的同步系统。使用该系统时,网站首先要公布一个Hub,每当有内容更新时,该网站便会通过这个Hub发出通知。而用户注册后就相当于告诉该Hub:“当该网站有内容更新时,请将立刻将其发送给我。”这样一来,注册用户就无需不停地访问原始网站来查看是否有内容更新,只需要等待Hub的通知即可。当网站发布了新的内容后,便会自动告知Hub,而Hub则会将这些内容发送给所有的注册用户。整个过程只需几秒钟。

如果谷歌借助PuSH来部署一套索引程序,便可以要求所有网站部署这一技术,并申报各自所使用的Hub,这就像在传统RSS服务中提供RSS feed一样。之后,谷歌便可以借助这些Hub来获知网站是否有内容更新。

但业内人士认为,PuSH协议不太可能代替现有的爬虫程序。事实上,必须要通过爬虫技术来获取网站的PuSH feed,但这种实时协议却能够对谷歌现有的索引技术起到极大的促进作用。

苏利文认为,谷歌必须要部署一种垃圾信息控制机制,而不能不加审查地收录所有实时信息。他表示,这种情况曾在搜索引擎发展初期出现过,而且造成了极大的问题。

优势所在

从运算角度来讲,PuSH将为谷歌带来更高的效率。但斯拉特金认为,更重要的在于此举对于小型网站的影响。目前,谷歌爬虫对许多小型网站的抓取频率仅为一周一次。而有了PuSH系统,这些网站便可以将新内容实时提交给谷歌。

内容更为丰富、速度更快、效率更高的互联网将对所有人有益,而从中获益的搜索引擎也不止谷歌一家。PuSH是一种开放协议,雅虎和必应也可以访问。斯拉特金说:“我的主管一直在告诉我,要对这一协议采取开放的推广方式,即使对竞争对手也要如此。”

发布时间:2010-3-12 13:37:14