Screaming Frog

一个非常强大的网络爬虫软件/抓取工具，名为尖叫青蛙。它会模拟网站爬虫，爬取你指定的网站多个信息。screamingfrog激活码激活以后，它可以获取指定网站的所有页面元素，并且进行详细的SEO数据分析。



一些功能如下：

1、查找断开的链接、错误和重定向
2、分析页面标题和元数据
3、审查元机器人和指令
4、审计hreflang属性
5、发现重复的页面
6、生成XML站点地图
7、爬网限制
8、抓取配置
9、保存抓取并重新上传
10、自定义源代码搜索
11、自定义提取
12、Google Analytics集成
13、Search Console集成
14、链接指标集成
15、JavaScript渲染抓取
16、自定义robots.txt抓取

可以让蜘蛛在网页上不断的搜索需要的资源，设置一个主要网页地址，并设置自定义分析扩展页面的功能，这样软件就会自动在一个网站上分析几十个、上百个网页界面，通过 Screaming Frog SEO Spider 分析以后，就可以得到自己需要的数据。对搜索引擎优化、社交媒体营销、内容营销、链接建设、转化率优化等有帮助。