我们在给网站做 SEO优化的时候，很重要的一个工作就是分析蜘蛛爬行情况，如果蜘蛛爬都没爬你的网站，那么肯定不会有收录的。怎么观察蜘蛛爬行日志呢？奶爸这里推荐这款Spider Analyser的WordPress插件，简单好用。
文章目录
- 1 什么是蜘蛛？
- 2 为什么要观察蜘蛛记录？
- 3 Spider Analyser插件介绍
- 4 Spider Analyser插件下载
什么是蜘蛛？
本文谈到的蜘蛛指各种搜索引擎的爬虫机器人，因为他们会顺着你网站的链接一条一条的爬，所以我们都称之为搜索引擎蜘蛛。
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
为什么要观察蜘蛛记录？
互联网上面充斥着各种各样的网络爬虫，其中包括搜索引擎的蜘蛛，例如百度、bing、Google这些的bot机器人，另外还有很多垃圾机器人爬虫，例如MJ12Bot、AhrefsBot、MauiBot等。
垃圾爬虫会额外占用服务器资源，一些小服务器搞不好就被垃圾爬虫给爬挂掉了，导致网站无法访问，所以我们需要时常观察网站是否有被垃圾爬虫爬行，也需要时常关注搜索引擎的爬虫是否过来抓取了页面，频率怎样，从而进行针对性的SEO调整。
Spider Analyser插件介绍
Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。
这款插件分为免费和Pro两个版本，免费版你可以直接在WordPress后台插件库里面搜索安装，本文演示的部分功能只有Pro版本才有。
在蜘蛛统计这里，我们可以看到来你网站抓取次数最多的搜索引擎或者网络爬虫有哪些。
上图中可以看到，奶爸建站笔记每天Google抓取次数最多，第二名是MauiBot，搜索发现是一个垃圾爬虫，待会儿直接给他屏蔽了，浪费服务器资源又带不来流量。
从这里可以看到网站上哪几个URL是蜘蛛最多爬取的，可以适当的在这些页面给你一些新发布的或者想要提升权重的文章插入一个内链，引导蜘蛛过去爬行抓取。
热门文章同理，也可以给你其他文章插入内链进行蜘蛛引导。
然后还能查看收录状态，发现未收录的文章，我们可以检查下文章质量，然后提交给搜索引擎抓取。
点击网址数量后面的图标，可以查看具体蜘蛛爬行情况，例如上图中，我们可以看到这个名为coccocbot的蜘蛛对网站的sitemap进行了爬行。
然后奶爸网上搜了下，这个搜索引擎是越南的，对于我们中文网站来说，越南搜索引擎的抓取是毫无意义的，所以可以直接拦截。这个拦截是直接服务器上拦截，而不是借助robots.txt，简单粗暴有效。
在蜘蛛列表里面，我们可以看到蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛、蜘蛛拦截。
上图中的这个SemrushBot是著名的SEO工具家的机器人，如果你不想让人把你网站分析的太彻底，那么可以直接屏蔽他的爬行，而至于这个IP是不是真的伪装的机器人不是很好判断，虽然从IP查询来看是上海IP，最好是去蜘蛛官网搜一下官方的IP段来判断。
访问路径可以把你网站蜘蛛访问情况给图示出来，如果你是电商网站，那么应该要关注下产品页的爬行比重，从而进行针对性的优化。
文章爬取这个功能，可以看到是否收录，蜘蛛访问量，出入链接数量。
这里着重看有蜘蛛爬行但是没有收录的页面，以及考虑是否插入出入链接来进行链接建设。
Spider Analyser插件下载
Spider Analyser分为免费版和专业版，下面是两个版本的功能区别。
免费版插件可以直接从WordPress后台的插件库里面搜索了安装。
专业版请从下方链接购买后下载上传安装。
下载地址
