网页抓取项目(Spider)

一个网页抓取项目,把一些无法访问的网站,架设可以访问的服务器(原先是弄一个vpn,系统成熟之后在一个区域架设服务器)。采集数据之后传到中转服务器。最后每个节点服务器按时到中转服务器获取数据。而后每个节点服务器根据web项目来显示出来。另外做了一个Web终端,可以监控每台服务器。

采用Java通信技术,MySQL数据库,Java Web来完成整个项目。

相关案例

查看更多