高级技术SEO并不是没有挑战，但幸运的是，市场上有很多工具我们可以使用。通过结合这些工具，我们不仅可以解决我们面临的挑战，我们可以创造新的解决方案，并把我们的搜索引擎优化到下一个水平。在这个指南中，我将结合三种不同的工具，利用一家主要云提供商(谷歌cloud)的强大功能，以及领先的开源操作系统和软件(Ubuntu)和爬行分析工具(尖叫青蛙SEO Spider)。
这种强大的组合可以带来的解决方案的例子是:
创建XML网站地图使用每日计划爬行和自动使这些可公开搜索机器人使用时，爬行和索引你的网站;
有你自己的个人内部SEO仪表板从重复爬虫;
通过定期抓取你最重要的页面，从不同的位置启动CDNs来提高用户和搜索机器人的网站速度;
从云中的稳定连接并行快速运行爬虫，而不是占用本地计算机的内存和带宽。
结合SEO专业知识和对数据的深刻理解，这和更多可以实现。
谷歌云和尖叫的青蛙都进一步提高了很多在过去的几年里,这是更新的,更短和容易指导运行一个或多个实例的尖叫青蛙SEO蜘蛛平行在谷歌云或自己的虚拟专用服务器(VPS)。
快速启动
假设你已经知道如何使用Linux和远程Ubuntu 18.04 LTS实例有足够的资源运行的地方,例如谷歌的云,你只是想下载、安装和/或更新尖叫青蛙SEO蜘蛛在远程实例马上就可以跳过本指南的大部分通过登录到远程实例并发出以下一行命令在终端远程实例:
wget https://seo。chmod +x安装.sh && source ./安装.sh
如果这不能工作，或者为了更好地理解如何设置远程实例、传输数据、安排爬行并在未登录到远程实例时保持爬行运行，请继续读取。
依赖关系
在继续本指南之前，有几个问题需要首先解决。
首先，在编写本指南中的命令时，假设您的主要本地操作系统是Linux发行版。不过，大多数命令在Windows和/或macOS上的工作方式都是一样的，只是稍微做了一些调整。如果有疑问，或者你想在Windows上本地安装Linux，你可以从官方的Windows商店免费安装不同版本的Linux，例如Ubuntu 18.04 LTS。如果您对如何在操作系统上访问终端/命令行界面有一些经验和知识，这是非常有用的。
其次，您需要一个谷歌云帐户，在这个帐户上启用账单，创建一个谷歌云项目，并在您的Linux、macOS或Windows操作系统上本地安装gcloud命令行工具。如果您为本指南创建了一个新的谷歌云项目，那么可以在web浏览器中访问项目的谷歌计算引擎概览页面，以自动启用所有必要的api来执行下面的任务。注意，在云中运行尖叫青蛙搜索引擎优化蜘蛛是要花钱的——当成本超出预期时，使用预算提醒来通知你。
或者，如果你在某处有一个基于Ubuntu 18.04 LTS的VPS或者Amazon AWS或者Azure账户，你也可以使用这个指南。创建实例的命令是不同的，并且取决于您所使用的云提供商，但是总体原则是相同的。为了更好地让您独立于任何云提供商使用本指南，我在下面提供了通用的如何连接说明，以便您入门。
第三，你需要有一个有效的和活跃的尖叫青蛙SEO蜘蛛执照。
最后，这是可选的，如果你有一个特定的爬行配置，你想使用尖叫青蛙SEO蜘蛛，你需要安装尖叫青蛙SEO蜘蛛本地，配置它，并导出配置设置作为一个新文件，以下称为:
default.seospiderconfig
假设以上几点都检查过了，您可以继续并设置一个或多个单独的实例，以便使用尖叫青蛙SEO Spider在云中远程并行爬行。
设置谷歌计算引擎实例
首先，进入终端/命令行界面(以下称为终端)在你的本地计算机和导航到你想要工作的文件夹(例如，存储所有爬虫)。
接下来，标识您的谷歌云项目的项目id，并选择谷歌计算引擎区域。你将需要这个继续下去。
在终端中发出以下命令，在谷歌云中创建一个远程谷歌计算引擎实例:
gcloud计算实例创建 \
——项目< PROJECT_ID > \
——区<区>