多数字营销人员认为竞争对手的网站是他们唯一的敌人，但搜索引擎本身可能会阻碍您获得更多自然流量。“了解你的敌人”并了解搜索引擎的工作原理很重要，这样你就可以将搜索引擎优化 (SEO) 和内容计划结合在一起，从而最大限度地提高结果。
搜索引擎的目标是什么？
任何搜索引擎的主要目标都是产生和留住用户。从本质上讲，百度、必应和其他公司希望人们喜欢这项服务并继续使用它，这样他们就可以从广告中赚钱。更多的用户意味着他们可以为每次点击付费(PPC) 活动和其他渠道收取更多的费用。因此，他们需要为用户提供最佳体验。这包括良好的用户体验(UX) 和友好的用户界面 (UI)，但最重要的是，他们需要提供出色的搜索结果。因此，他们使用专有算法在互联网上搜索并找到有价值的信息内容，使用户信任搜索引擎并在他们下次寻求答案时返回。
搜索引擎如何工作？
搜索引擎的工作方式是通过网站爬行、跟踪链接以发现新页面并记录内容以创建索引，以便它们可以通过其算法并为用户提供服务。
他们通过3 个函数来做到这一点：
1.爬行：使用机器人爬行整个互联网页面的代码和内容。
2.索引：将他们找到的页面放在一个索引中，该索引可以作为结果存储在搜索引擎结果页面(SERP) 上。
3.排名：根据具体情况确定为用户提供的最佳结果，并将它们按从最相关到最不相关的顺序排列。
爬虫查找和索引的内容决定了哪些页面位于SERP 之上，从而为网站带来流量。
爬行：搜索引擎如何找到您的页面
搜索引擎爬虫（通常称为机器人或蜘蛛）通过链接在页面之间流动，查找并记录页面的存在和内容。这是搜索引擎寻找提供给用户的内容的第一步。如果机器人没有在您的页面上爬行，您将没有机会获得排名并从SEO中获益。
搜索爬虫的工作原理
搜索引擎爬虫做的第一件事就是下载网站的robots.txt 文件。robots.txt 文件位于您站点的根目录中（例如 yoursite.com/robots.txt）。它向爬虫和机器人建议在站点上应该和不应该爬取哪些页面，以及应该爬取它们的速度。搜索引擎使用不同的算法和规则来确定应为网站抓取的页面数量和频率。例如，每天更新内容的旧网站将比每周几乎不受影响的新网站更频繁地被抓取。在浏览页面时，机器人会查看源代码和内容以确定页面的全部内容。他们下载指向站点上其他页面的内部链接，然后使用这些链接继续浏览和抓取这些页面。
站点地图
站点地图允许网站向搜索引擎提供一组统一的资源定位符(URL)。这让爬虫可以找到可能隐藏在站点深处的页面。您可以设置站点地图以对站点上的每种类型的内容进行分类，例如博客、产品页面和常见问题。与robots.txt 文件不同，robots.txt 文件只给出应该和不应该被抓取的指令，站点地图可以让您确切地告诉搜索引擎哪些 URL 对您的站点很重要并且应该被索引。
如何确保您的页面被抓取
优化您网站的技术SEO的核心部分将确保您网站上的重要页面被搜索引擎抓取。
robots.txt
您的第一步是进入您的robots.txt 文件。确保您的漫游器文件没有阻止百度和其他重要的抓取工具访问您的网页。但是，禁止他们在SERP 上查看您不想要的页面是个好主意。这可能包括站点搜索页面和由第三方软件创建的页面等。
站点地图
浏览您的站点地图并删除所有不需要的URL。这包括 4XX 页面、5XX 页面、302 重定向、导致 301 重定向的 URL 以及您不希望出现在SERP上的任何其他内容。
网站架构
使用内部链接使爬虫更容易找到您的页面。确保您网站上的每个页面都有一个从另一个页面转到它的链接，无论是通过导航还是相关页面。限制访问您网站上重要页面所需的点击次数非常重要。
索引：搜索引擎如何分类和存储页面
抓取页面后，搜索引擎会将其添加到互联网上广泛的页面索引中。但是，并不是一定会添加您的页面。了解SEO中索引的内容很重要。
什么是搜索引擎索引？
搜索引擎索引是在网页被抓取和分析后存储和分类网页的过程。根据爬虫在页面内容中找到的内容，将其呈现并放置在数据库中，准备为用户提供服务。将页面添加到此索引时，搜索引擎的算法可以轻松读取该页面，以确定该页面是否与用户相关。考虑到新鲜度、关键字相关性等特征。如果没有索引，每次用户输入搜索查询时，搜索引擎都必须抓取页面。可以想象，这将成倍增加获得问题答案所需的时间，吞噬甚至像百度这样的巨头也负担不起的计算能力。
如何让搜索引擎为您的网站编制索引
不出所料，许多网站所有者询问如何让百度将他们的网站编入索引。幸运的是，这就像遵循技术SEO 的基本最佳实践一样简单。如果您的网站已经建立并且经常被抓取，那么搜索引擎很可能不会很难将您的网页编入索引。根据您的网站，爬虫可以每周数次到每月数次为您的网站编制索引，并在发现新页面时将其编入索引。
将新站点编入索引
对于新网站，您可能需要手动提交您的站点地图或单独的URL，以让抓取工具知道您的网站在那里。从那里，他们将根据其价值和更新频率来确定如何为您的页面编制索引并抓取您的网站。您可以在Search Console 的“覆盖率”报告中查看百度将您网站上的哪些页面编入索引。在那里，您将看到百度索引中的URL 列表，以及存在未将其编入索引的未解决错误的所有页面。“已排除”部分显示新页面和其他已被抓取但未放入索引的页面。
您还可以使用Search Console 中的网址检查工具来检查各个网址。此工具可让您查看特定页面（可能是您刚刚发布的对时间敏感的页面）是否已编入索引。如果没有，或者您希望百度将其更新版本编入索引，您可以请求他们重新抓取当前版本的URL 并将其编入索引。
页面未编入索引的原因
如果搜索引擎没有将您的网页编入索引，很可能是因为它没有看到它们。搜索引擎在抓取页面时会对其进行索引，并且许多新站点或未更新的站点通常不会被频繁抓取，从而为他们认为更重要的站点/页面节省了机器人的工作量。但是，搜索引擎不索引页面还有其他一些原因。
·该网站在页面代码的<head> 中有一个“noindex”标签。</head>
·页面上（或指向）的内部链接被标记为“nofollow”。
·内容与另一个相同，并且没有正确规范化。
通过运行站点审核或掌握站点的技术SEO，您可以确保在抓取时将最重要的页面添加到搜索引擎的索引中没有任何障碍。
标签： 网站优化 网站收录 网站代运营
