几种开源网络爬虫的简单比较 - ShaPherD - 博客园. 爬虫里面做的最好的肯定是google ，不过google公布的蜘蛛是很早的一个版本，下面是几种开源的网络爬虫的简单对比表： 还有其他的一些比如Ubicrawler、FAST Crawler、天网蜘蛛等等没有添加进来。 之后主要研究下larbin爬虫，如果有可能会给它添加一个删除功能，因为其排重部分用的是bloom filter