网站优化引擎排名平台
主要使用多线程模式,多线程抓取会比单线程抓取对于CPU的使用效率更高,所以在爬虫的实现中使用了基于线程池的多线程模式, 从而提升了约3到4倍的抓取速率。采用了MVC的软件设计模式. 数据库用的是mysql,因其开源并且具有跨平台的特性。而且mysql功能强大对于项目所需要的数据量而言在存取性能上的表现也足够优异。
主要使用多线程模式,多线程抓取会比单线程抓取对于CPU的使用效率更高,所以在爬虫的实现中使用了基于线程池的多线程模式, 从而提升了约3到4倍的抓取速率。采用了MVC的软件设计模式. 数据库用的是mysql,因其开源并且具有跨平台的特性。而且mysql功能强大对于项目所需要的数据量而言在存取性能上的表现也足够优异。