{展开以了解有关抓取 JavaScript 网站的更多信息} 第 2 步：收集其他指标。 大多数爬虫都会为您提供有关 URL 和页面的各种指标和数据，例如标题、描述、元标记和字数。除此之外，您还需要了解内部和外部链接、流量、内容独特性等，部分期间提出充分知情的建议。
您的流程可能会有所不同
但我们通常会尝试使用尽可能少的资源来实现一切。 URL Profiler 是用于此目的的一个很好的资源，因为它与 Screaming Frog 配合良好，并且可 whatsapp 数据库 以轻松地与我们需要的所有 API 集成。 一旦 Screaming Frog 的扫描完成（仅抓取可索引内容），就会导出一个“内部全部”文件，该文件随后可用作 URL Profiler 中的种子列表（以及在 GSC、GA 和其他地方的抓取之外发现的任何其他可索引 URL）。
这就是我的 URL
Profiler 设置对于中小型网站的典型内容审核的情况。另外，在“帐户”下，我通过 API 密钥链接到 Moz 和 SEMrush。 URL Profiler 完成后，您应该执行如下操作： Screaming Frog 和 URL Profiler：在这两个工具及其连接的 API 之间，您可能不需要任何 从平面设计和写作到编程和营销 其他东西即可查看域中每个可索引 URL 的以下指标。
从第三方工具获取分
析数据的风险 在大型高流量网站上使用上述方法时，我们已经看到奇怪的数据不匹配和模式数据。我们的内部流程涉及直接从 Google Analytics 导出这些报告，有时添加 Analytics Canvas 以从 GA 获取完整的、未采样的数据。
然后在电子表格中使用
VLookups 来组合数据，其中 URL 是唯 廣告庫 一标识符。 为每个 URL 提取的指标： 索引还是不索引？ 如果爬虫配置正确，所有 URL 都应该是“可索引的”。 未索引的 URL 通常表示页面未抓取或质量较低。 内容独特性 Copyscape、Siteliner 和现在的 URL Profiler 都可以提供此数据。
来自有机搜索的流量
通常为 90 天 在所有指标上保持一致的时间范围。 收入和/或转换。 您可以将其视为“总计”，也可以将其细分以仅显示每页的自然搜索收入。 发布日期。 如果您可以在获取 GA 数据之前将其作为 Google Analytics 中的自定义维度获取，它将帮助您发现较旧的内容。
内部链接 内容审核提供
了一个绝佳的机会，通过确保最重要的页面拥有最多的内部链接来加强内部链接策略。 对外关系 这些可以来自 Moz、SEMRush 和各种其他工具，其中大多数工具本地集成或通过 API 与 URL Profiler 集成。 导致网站停留时间减少的着陆页。