Google和百度收录网站页面的比较

发表时间：2012-6-7 [打印]

Google和百度收录网站页面的比较,用一句话来形容,就是Google更乐于收录大站的页面,百度则乐于收录新站的页面.
Google和Baidu收录网站页面的标准是不同的.为了验证这一点,我做一个实验:我申请了一个新域名www.moon-blog.com,不再其他任何网站做链接,而直接往百度和Google搜索引擎的提交页面进行提交.一个月过去了,百度收录的网页是24,900篇,Google收录的网页是0,这证实了我以前的猜测.这说明了什么呢?说明百度比Google好吗?绝对不是的.因为Baidu和Google收录页面的标准是完全不同的.
Google是按照网页级别来收录的,只要你有一定的网页级别,Google会快速收录的,而没有网页级别的网站,Google则坚决不去收录.Baidu则很夸张,采用的是来者不拒,多多益善的原则,无休止的进行收录.Baidu的这种不按网页级别的收录方式其实有很大的恶果,最主要的恶果是造成大量的垃圾网站流行,因为只要做一个垃圾站,Baidu就会立刻收录(25000页以内),这等于变相的鼓励大家去做垃圾站,去盲目采集.
当垃圾站横行的时候,Baidu再通过人工的方式封站,对于大流量的网站再威胁其站长办理百度竞价排名.因此Baidu和大量的个人站长都结有恩怨.这两种收录方式哪种更好呢?我个人认Google的这种收录方式是比较科学的.因为互联网上的页面是个天文数字,收录应该是有选择的收录,好的网站则多收录,新站则应该少收录,等其慢慢知名了以后再多收录,这样也提高了效率,让用户搜索到更好的页面而不是更多的页面.而且Google的爬虫占用服务器的资源较少,通常是先用head来查看网页是否更新,如果更新了再抓取整个页面,这种方法耗费流量较少.而百度则不管三七二十一上来就抓整个站,而且其爬虫数量非常庞大,对于页面较多的网站通常会耗费惊人的流量,并且常常造成恶劣的后果.
例如我以前的月光软件站有一段时间CPU耗费极大,IIS连接数也逼近1000,每天流量高达10多G,电信机房总威胁要限制我的带宽,我以前一直以为是被别人DDOS攻击,但是我购买了新的服务器,换了几个IP,甚至更换了几个机房,依然无法解决问题,不得已只好将服务器托管到外地流量充裕的机房,但CPU负荷还总是居高不下.直到我网站被百度封了后,百度爬虫也不再光故,这时我才惊奇地发现,我的CPU和流量终于处于一种稳定合理的状态了,到目前为之,我站每天流量也有十多G,但CPU一直都没有超过5%,服务器也很少出现死机和大量IIS连接的状况。
因此我开始怀疑,以前的所谓被DDOS攻击,其实只是大量的百度爬虫在抓取我的网站而已,由于其爬虫数量庞大,才引起我服务器的超负荷运转以至濒于崩溃.当然,百度这种"贪婪"爬虫抓取方法,虽然会让用户能够在百度搜索出一些Google里搜索不到的页面,但这实在是损人利己.其带给网站站长不少负面效果:服务器和带宽资源过度消耗,垃圾站被变相鼓励了,原创的有特色的网站则被边缘化,MP3音乐网站则更苦不堪言-自己的MP3被百度盗链后带来大量文件下载却没有带来页面访问.
因此,中国的网民也出现了很奇怪的现象:大量的新网民和菜鸟新手喜欢用百度搜索,因为百度往往搜索到很多别处搜索不到的页面,但内容的匹配度则令人质疑,而专业人士和老鸟则更喜欢用Google,而IT专业人士则不同,他们建网站、写博客、开论坛,他们可以影响一大批普通用户,如果百度长期依靠低端用户而和大量站长结怨的话,其发展前景也是令人质疑的.
转载