你在这。 一个大的重新设计或CMS迁移是若隐若现，而你准备好释放在新网站上爬行在测试环境。你火起来您最喜爱的爬行工具并触发抓取 。。。它持续了三秒钟。
是的，有一个明显的问题。登台服务器保护和背后的一些类型的安全措施抑制你自由地进行抓取。汗水开始在你的额头形式，你想知道你会得到抓取完成。
在这一点上，你可以选择手动检查所有的页面，但你可能在一个软垫的房间最终耳语一些关于头响应代码接管世界。
或者你可以继续点击“检索”，并多次抓取登录页面，但这样做没有帮助。或者你可以振作起来并想出一个办法爬进去分期的网站，这将让您的数据抓取数据并保存SEO。是的，这就是票。
你们当中有些人可能会说，“嘿，这是很容易得到解决！“嗯，明白它不是那么容易，有时是重要的。根据我的经验，我已经帮助了许多采用分期设置这仅仅是不容易的访问和抓取客户。而对于那些情况下，您可能需要使用替代方法。
下面，我将介绍用于爬临时服务器，从使用基本身份验证的VPN访问创建自定义用户代理五种方法。我会用一些要点和技巧结束。让我们开始！
如果分段服务器使用基本身份验证，那么你会很高兴地知道，上爬行工具支持此？设置时方法的抓取。
例如，我最喜欢的爬行工具DeepCrawl（其中我对客户咨询委员会）和尖叫青蛙。这两种工具提供选项，以提供登录详细信息，以便您可以爬走。
处理基本身份验证在DeepCrawl：
选择“请求验证”设置在尖叫青蛙：
我已经有一些客户端保持自己的临时服务器在防火墙后面（他们公司的网络上，并没有公开）。对于这样的情况，我有时会被赋予VPN访问，所以我可以抓取服务器。有一次，我通过VPN连接，我就爬走与任何工具，这是本地（在我的系统工作在我的办公室）。
好处是你可以抓取本地工具分期。缺点是，你可能无法使用的不在自己网络上的企业级履带。这可能是重要的，尤其是如果它是一个大型网站。
通过VPN访问临时服务器：
我也有一些客户端使用的工作平台重定向的所有用户共同登录，然后重定向你回到你想要访问的特定阶段服务器。不幸的是，许多支持基本或摘要式身份验证不会在这里工作，因为重定向抛出一个扳手插入情况的工具。
但是，你可以要求为临时服务器平台白名单您的IP地址正在试图访问。您的客户端将仅仅是针对短时间内提供访问您的特定IP地址的临时服务器 – 例如，获得某一天，或几天 – ？而排除所有其他IP。
你听说过Googlebot和Bingbot的，但你听说过GSQiBot的？ 这是我已经设置了客户端爬网的自定义用户的代理商之一。使用上面爬行工具，您可以创建自定义用户代理，你可以沿着传递给你的客户。
然后，他们可以列入白名单特定用户代理，而阻止其他所有访问。它类似于IP地址的方法，但它一个白名单？用户代理与一个IP地址。
设置在DeepCrawl自定义用户代理：
在尖叫青蛙建立一个自定义的用户代理：
是的，你没看错。在某些情况下，我不得不去老派和实际访问在现实生活中的客户端”。“哇，恐怖！
如果分期是不能从外部访问，并且您的客户端将不开辟一些访问？原因，那么你可能得去拜访他们的办公室。
一旦你这样做，你可以从他们的网络中爬走。这显然具有一定的地域限制，但我已经做过了位于东北的客户。（我在新泽西州普林斯顿。）
现在，我已经介绍了五种不同的方式来抓取临时服务器，我将提供一些要点和技巧根据我的经验帮助客户。
不要绕过抓取。它忽视太重要。还有，你可以用分期的强爬行发现不少问题。这意味着你可以消灭在萌芽状态严重SEO问题。强调你的客户，他们的数字营销团队和开发团队抓取的重要性。
灵活的工作与你的客户的开发团队，以获得。不要求一定的方法。了解他们对获得访问情况和工作。我们的目标是爬行分期到开绿灯。这不是提高你的自我。
当您访问，离开火。同时执行企业级抓取和手术爬网（如果可能）。与你需要做什么准备和爬行你想执行。你可能只对一两天的访问，所以充分利用它。同样，我喜欢用DeepCrawl企业抓取和尖叫青蛙手术爬网。
失去前仔细检查你的抓取数据？访问分期。确保你捕获的数据，你需要完成分析。如果由于某种原因初次检索数据是不够的，再完善您的设置和抓取。例如，排除在霸占爬不重要目录，使用不同的起始网址，确保适当的抓取限制设置，确保正确的？报告设置选择等。
确保你的客户明白，有可能会根据升级的抓取分析来实现变化，他们应该留出时间，开发商做出这些改变。这不是一个“爬一次推出”类型的过程（尽管这可以在最好的情况下发生）。它更多的是一种“爬行，再发现问题，解决问题，爬行”过程。你不想推的问题SEO生产。Googlebot可能不会像你一样GSQibot。
正如我刚才解释，这是极为到爬行分期重要的关键变化是被推到生产环境之前。你很可能揭开这个爬行中的搜索引擎优化技术的问题，会造成严重的问题，如果推直播。
我的建议是获得不惜一切代价获得分期。好消息是，有几种方法可以选择，正如我上面记录。与你的客户的工作，并与他们的开发团队，争取进入。这就是你赢。现在爬走。
在这篇文章中所表达的意见是那些客人笔者并不见得搜索引擎土地。作者的工作人员在这里列出。