Screaming Frog SEO Spider是一款功能强大的网站爬虫工具，可以帮助用户快速地抓取网站上的各种信息，包括页面链接、标题、关键词、描述、页面状态码等。通过分析这些数据，用户可以轻松地查看网站的结构、内容和SEO优化情况，从而优化网站，提高其在搜索引擎结果中的排名。这款工具提供了许多有用的功能，如网站爬取、检查页面的关键字和页面标题等，可以帮助用户更好地优化其网站。

1、获取网站内所有的链接及导出链接

网站内所有的链接包括HTML、CSS、JavaScript、图片等，导出链接可以获取网站内容所有导出的链接，方便大家清理不想导出的链接。

2、列出所有链接的信息

Screaming Frog SEO Spider强大的地方就在于它不仅获取了网站内所有的链接，通过链接的就能获取到该链接的所有信息，大致包括该链接包含链接数、状态码、是否被robots屏蔽、该网页标题、标题长度、描述、关键词、发布时间等等所有的信息。

3、快速找出网站中的死链（404链接）

上面说到可以查看每个链接的状态码，通过状态码，我们就能快速找到网站中存在的死链。相信很多小伙伴都会头疼蜘蛛每天在抓死链却找不出死链出现在哪个位置，而这款工具除了能找出网页中所有的死链外，它更厉害的是可以点击一个死链，在inlink标签里就能显示在哪些页面含有这个死链。

4、生成XML地图

这款工具可以快速创建XML站点地图和图像XML站点地图，通过URL进行配置，包括上次修改，优先级和更改频率。

5、robots.txt分析

分析网站的robots.txt文件，检查网页的禁止爬取规则。

6、分析站点架构

通过使用交互式爬网和目录强制导向图和树形图，可以有助分析可视化的评估内部链接和URL结构。

7、其他一些功能

除了以上功能外，Screaming Frog SEO Spider还有其他一些功能，比如查看链接是否被重定向、网页大小、链接细节信息、搜索结果展示页效果图、列举网页内的h标签、rel=“next”和rel=“prev”(文章页上下篇链接)、检查重复的URL等等。

除了以上功能外，Screaming Frog SEO Spider还有其他一些功能，比如查看链接是否被重定向、nofollow、网页大小、链接细节信息、搜索结果展示页效果图、列举网页内的h标签、rel=“next”和rel=“prev”(文章页上下篇链接)、检查重复的URL等等。