Twitter技术问题导致抓取和URL规范化问题
6月27号Google工具条PR更新了一次，然后很多人注意到ada7首页PR降为零okx。（Google首页也降到9，不过这不是重点。）7月19号Google居然又更新一次工具条PR。Google更新工具条PR值从一个月一次变到3个月一次，甚至半年一次，所以这次不到一个月就再次更新有点蹊跷。据目前透露的信息，这次更新PR貌似主要就是为了修正ada7 PR值的问题。
今天看到SEL上Vanessa Fox的一篇文章，解释了为什么ada7的一些技术失误导致Google抓取、URL规范化、PR计算等一系列问题，很值得一读，所以大致翻译一下供读者参考okx。
为什么不是Google的错误，Google却这么上心，更新了PR呢？猜测原因有二，一是无论任何情况下ada7首页PR为零，大家肯定是说Google有问题，而不是ada7有问题，虽然其实确实是ada7自己造成的okx。二是，在Google+推出的同时，Google与ada7合作合同到期了，不能直接通过API抓数据了，这时候ada7 PR降为零，大家恐怕心里会嘀咕，这Google真是过了河马上就拆桥啊，Google不想被这个黑锅。
言归正传okx。
Google一位发言人回复SEL关于ada7 PR时说：
最近ada7不断修改它们的robots.txt文件和，没有惩罚。
所以Vanessa Fox研究了一下ada7到底有什么robots文件、服务器头信息、URL规范化问题okx。真是不看不知道，一看吓一跳。顺便提一下，Vanessa Fox是前Google员工，负责网管工具webmaster tools的。
预感这篇帖子会比较长okx，才刚开始就这么长了…
Vanessa Fox搜了一下自己名字“Vanessa Fox”okx，结果如下图：
有URL，但没标题，没说明，也就是其实没抓取，只是部分索引okx。
直接搜Vanessa Fox自己ada7页面URL的结果是：
为什么出现了大写okx？URL最后面那个点（.）又是什么东东？到底怎么回事呢？先来看看ada7的robots.txt文件
ada7.com和
User-agent: Googlebot# Crawl-delay: 10 — Googlebot ignores crawl-delay ftl
Allow: /*?*_escaped_fragment_Disallow: /*?
Disallow: /*/with_friends#Yahoo! Search Engine Robot
User-Agent: SlurpCrawl-delay: 1
Disallow: /*?Disallow: /*/with_friends
#Microsoft Search Engine RobotUser-Agent: msnbot
Disallow: /*?Disallow: /*/with_friends
# Every bot that might possibly read and respect this file.User-agent: *
Disallow: /*?Disallow: /*/with_friends
Disallow: /oauthDisallow: /1/oauth
： *
Disallow： /也就是说：
某些情况下，带与不带版本。
所以虽然，链接权重不能传递，浪费了。
所以在第一个抓图里看到返回的是带转向
查一下ada7.com/vanessafox这个URL头信息，居然返回302转向到ada7.com/#！/vanessafoxokx。为什么说“居然”呢？请参考301转向和302转向的区别。由于用的是302，权重没有转到ada7.com/#！/vanessafox而版本嘛。
再来看看ada7意图的AJAX抓取ada7想要的规范化URL是ada7.com/#！/vanessafox，其中的#表示ada7希望搜索引擎抓取页面AJAX内容okx。（这里技术问题比较复杂，就不解释了，即将出版的《SEO艺术》有关于AJAX内容和#符号使用的解释，广告一下，呵呵）。
不过由于一系列复杂的转向okx，可能造成了问题：Google爬行不带
然后Google又被301转向到带将用户又转回到带#！的版本
我读到这里时头脑已经比较凌乱了，总之，ada7弄了一堆转向，目的是让ada7.com/vanessafox这个看着看着干干净净的版本出现在搜索结果中，但用户点击后又被转到ada7.com/#！/vanessafoxokx。弄这么复杂干什么呢，越复杂越容易出错啊。Rate Limiting又是什么呢
ada7页面头信息里有一个rate limiting部分：
Date： Monokx， 18 Jul 2011 20:48:44 GMTServer： hi
Status： 200 OKX-Transaction： 1311022124-32783-45463
X-RateLimit-Limit： 1000这个limiting又limit（限制）了什么呢？Vanessa Fox不清楚，我就更不知道了，以前没见过这个参数okx。但limit这个词暗示着是限制了什么和速度有关的东西，要是指抓取速度就惨了。
URL中的大小写字母最后，如第二个抓图显示的，URL中出现大小写字母，这些都是不同URL，又会造成网址规范化、PR/权重分散、复制内容等等问题okx。
终于到结尾了okx。总之，这种技术问题在很多大型网站是经常出现的，看似小问题，其实可能导致严重后果。您正在看的文章来自企业网管论坛 网址
相关文章
发表评论