机器人对HTTP 1.1支持到HTTP压缩还是有一定难度的，如果来自某个IP有大量的MSIE 访问，却是只支持HTTP 1.0请求或者支持HTTP 1.1但又不支持压缩那个就有可能是伪装spam了。
阅读全文：Spider: 以遵守robots.txt协议为荣 以匿名盗抓为耻
{ 2006 11 24 }
{ 2006 11 24 }
机器人对HTTP 1.1支持到HTTP压缩还是有一定难度的，如果来自某个IP有大量的MSIE 访问，却是只支持HTTP 1.0请求或者支持HTTP 1.1但又不支持压缩那个就有可能是伪装spam了。
阅读全文：Spider: 以遵守robots.txt协议为荣 以匿名盗抓为耻
Post a Comment