Crawler

网络爬虫是一种能有条理并且系统化地浏览Web,以便收集网页数据的程序(通常也被称作“机器人”)。搜索引擎(例如谷歌,必应)利用爬虫来创建索引是网络爬虫最典型的使用案例。

参见