可以用八爪鱼采集器网络爬虫又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本另外一些不常使用的名字还有蚂蚁自动索引模拟程序。
Screaming Frog SEO Spider for Mac是一款专门用于抓取网址进行分析的网络爬虫开发工具，你可以通过这款软件来快速抓取网站中可能出现的损坏链接和服务器错误，或是识别网站中临时永久重定向的链接循坏，同时还能检查出网址。
该项目还可支持从各种类型文档抽取数据，比如htmlxmljsonjavascripttext等我们还提供了规则可视化配制，请下载采集数量不受限爬虫数量不受限导出数据数量不受限的完全免费金色数据平台社区版 以及详尽的文档 使用。
1智能模拟浏览器和用户行为，突破反爬虫限制2自动抓取网页的各类参数和下载过程的各类参数3支持动态IP代理加速，智能过滤无效IP代理，提升代理的利用效率和采集质量4支持动态调整数据抓取策略，多种策略让您的数据无。
