日志分析已经发展成为一个基本组成部分？技术SEO审计。服务器日志允许？我们？理解？怎么样？搜索引擎爬虫交互与我们的网站，你的服务器日志的分析？可导致可操作的SEO的见解，你可能还没有收集到，否则。
很多工具都可以与服务器日志分析的帮助，哪一个更适合你将取决于你的技术知识和资源。？有三种？类型的日志文件分析工具，你将要考虑？（除非你在命令行，而如果您还没有与它的经验，我不建议这样做）：
高强
如果你知道你的方式围绕？Excel中 – 如果创建数据透视表，并使用VLOOKUP是你的第二天性？-？你可能想通过以下步骤来给Excel中一展身手？本指南通过BuiltVisible所示。
这是需要注意的重要，太，即使你使用一个？的其他工具选项，在某些时候，你将需要导出你已经收集到Excel中的数据。这将输出？数据到一个格式的？易于？集成或与其它数据源，如谷歌Analytics（分析）或谷歌搜索控制台比较。
无论您使用Excel？在整个分析？或者只有在年底将取决于你想要多少时间用它来过滤，段花和组织数据。
开源工具
这是你的选择，如果你没有预算花在工具，但你拥有的技术资源，对它们进行配置。？最流行的开源选择是弹性的？麋鹿？堆，其包括？Kibana，？Elasticsearch和？LoGstash。
支付工具
这个？是真的，如果你没有技术支持或资源的最佳选择，尤其是因为这些工具？非常简单的设置。一些选项还支持卷曲的情况下，你需要手动上传日志文件（而不是直接连接到服务器监控）：
Splunk的？可能是市场上最知名的支付日志分析器，虽然它的？不是最便宜的选择。然而，它有一个？光版？这是免费的，你可能想看看。
Logz。IO？提供ELK服务（它是基于云）？审议？SEO作为他们的用例之一，？并具有？一个自由的选择，也。
Loggly？也有有限的免费版本。这是目前我使用的一个，尝试过其他的人之后，这是你会在我的屏幕截图看到整个片程序。Loggly？它是基于在云中，并？我真的很喜欢它的易于使用的界面，便于容易？过滤和搜索。此功能可以让我？救我的时间分析，而不是分割和过滤数据。
一旦你选择了最好的工具？你的情况，？是时候开始与分析。你要确保你集中分析可操作的SEO项目，因为它很容易迷失在？无取向SEO环境。
以下是帮我开车日志分析的几个问题，我多么容易回答他们（使用Loggly，在我的情况）。我希望这将让你看到，你怎么还可以？经过？你的日志在一个非痛苦的样子，并分析他们自己的搜索引擎优化过程。
日志遵循预定义的格式。正如你可以在下面的截图中看到，识别用户代理可以用预先定义的过滤器更容易在Loggly做了日志字段。
你几时开始？做日志分析的第一次，这可能是值得的，不仅退房搜索机器人的活动（如的Googlebot，bingbots？或Y和ex的机器人），而且还可以产生性能问题潜在的反垃圾邮件插件，污染？您的分析？and？刮内容。对于这一点，你可能要交叉检查？与已知的用户代理，例如这一个列表。
寻找可疑的机器人，然后分析他们的行为。什么是它们随时间的活动？ 有多少事件有他们？在选定的时间周期过？ 难道它们的外观一致，性能或分析垃圾邮件的问题？
如果是这样的话，你可能不仅要禁止这些机器人？在你的？机器人。txt文件，而且还通过htaccess的阻止他们，因为他们不会经常？按照机器人。TXT指令。
一旦你已经确定了到达的机器人？你的网站，它的时间来专注于搜索引擎机器人？为了确保他们成功地访问您的网页和资源。？随着Loggly了“的userAgent”过滤器，你可以直接选择你要分析的那些？或者用名字搜索它们？搜索？使用功能的布尔运算符。
一旦你已经过滤，只显示你有兴趣在搜索引擎机器人，则可以选择随时间可视化他们的活动的图形选项。其中搜索机器人有？活动的网站上的最高水平？ 他们是否与要排名与搜索引擎相一致？
例如，在这种情况下，我们可以看到的Googlebot之一具有两倍？作为活动？在Bingbots之一，并在22有一个特殊的秒杀：30H 3月24日。
这里的关键，不仅是搜索机器人来到您的网站，但他们实际上花时间爬行右页的。哪些网页抓取我们？ 什么是这些pagesAre的HTTP状态的搜索机器人爬行一样？网页或不同的？
您可以？选择？每个搜索用户代理要检查和数据导出到？使用数据透视对它们进行比较？在表？Excel中：
在此基础上初步信息，我们将开始挖掘更深？验证不仅是如何将这些机器人？在爬行的行为不同，但如果他们真的是爬，他们应该是。
通过搜索？您所需的搜索机器人？（在这种情况下，Googlebot的），然后选择“状态”过滤器，你可以？选择？在HTTP？该网页的价值要分析。
我建议寻找那些与3XX，4XX和5xx状态码，如您？希望看到重定向或错误的网页，放送到爬虫。
从这里，你可以？识别出最好的网页产生最重定向或错误的。？您可以导出数据和？优先考虑这些页面被固定在你的SEO建议。
什么时候？寻找你所需的搜索机器人，你可以直接选择“requestURI”过滤器，以获得最高的网络文档的列表，无论是资源或网页，该机器人请求。？您可以查看？这些直接在界面（以验证他们设有一个200 HTTP状态，例如）或导出它们？到？Excel中的文档，在那里你可以？确定？他们与你的高优先级的页面一致。
如果你最重要的网页？没有跻身抓取网页（或更糟的是，不包括在所有），然后你可以决定？在你的SEO建议适当的行动。你可能想要？提高？内部链接到这些网页（无论是从主页或从一些顶级的抓取，你确定页），然后生成并提交一个新的XML网站地图。
您还需要识别页面和不意味着要建立索引的资源，因此不应该被抓取。
再次使用“requestURI”过滤器由您想要的机器人让高层请求页面的列表，然后导出数据。？请检查？是否？页面和目录？您通过机器人封锁。TXT实际上？被抓取。
你也可以？检查？未通过机器人阻止页面。TXT，但不应该从爬行的角度来优先？- 这包括该页面？我们noindexed，规范化或重定向？到其他页面。
对于这一点，你可以从导出列表中列出抓取您最喜爱的搜索引擎爬虫（E。g。，尖叫或蛙的onpage。ORG）增加约荟萃机器人noindex在ion和规范化状态的附加信息，除？HTTP状态？你会已经从日志中有。
不幸的是，可以通过谷歌搜索控制台的“抓取统计”报告中所得到的数据是太一般（不一定不够准确）采取行动。因此，通过分析自己的日志来确定一段时间内的Googlebot抓取速度，你可以验证信息和段它，使之诉。
随着Loggly，？您可以？选择要查看Googlebot的？在期望的时间范围内活性的线图，在HTTP？状态可以以验证随时间的尖峰被独立地示出。会心？什么类型的请求的HTTP发生，以及何时会？显示？如果错误或重定向被触发，这？可以生成从Googlebot的非有效的检索行为，。
您可以通过时间，以所希望的期间绘制由Googlebot所要求的文件的大小，以确定是否有与爬行行为变化的相关性做类似的事情，然后你就可以采取适当的措施？对其进行优化。
我包括这一个专门为？网站在不同的地点提供不同内容给用户。？在某些情况下，这些网站都在不知不觉中提供了一个体验不佳？与IP地址爬虫？来自其他国家？-？从阻止他们？直接以让他们访问的内容只是一个版本（防止他们爬行其他版本）。
谷歌现在支持区域识别抓取？发现内容具体意味着其他目标？国家，但它仍然是一个好主意，以确保所有的内容被抓取。如果不是，这可能表明你的网站没有正确配置。
后？通过用户代理细分，然后你可以通过IP过滤，以验证该网站服务的每个页面的正确版本从相关国家的爬虫。
例如，看看会发生什么，当我试图进入NBA网站？at？万维网。NBA。COM，与西班牙的IP？-？我是302对关于从AS网站（在西班牙当地的体育报纸）篮球子域名重定向，如可以在下面的截图中可以看出。
当我从法国的IP地址输入同样的事情也发生； 我得到302重定向到队报，在法国当地的体育报纸的篮球子目录。
我已经在过去解释了为什么我不是国际针对自动重定向的粉丝。？但是，如果他们注定要存在？企业（或任何其他）的理由，那么它给出一致的行为，来自同一国家的未来所有爬虫是非常重要的 – ？搜索机器人和其他任何用户代理 – 确保搜索引擎优化的最佳实践随后在每种情况下。
我希望？通过这些问题去 – 并解释它们如何使用日志分析来回答 – 将帮助你扩大和？加强你的技术的SEO工作。
在这篇文章中所表达的意见是那些客人笔者并不见得搜索引擎土地。作者的工作人员在这里列出。