您当前的位置:首页 > 公司新闻> 内容

深圳seo优化公司深层分析-Googlebot是如何抓取该网页的

- 2019-02-23-

  执行抓取


深圳seo优化公司深层分析-Googlebot是如何抓取该网页的,在文本框中,输入您希望Googlebot在您网站中抓取的网址的路径部分(与网站根路径的相对路径)。将文本框留空即可抓取网站的根网页。例如,如果当前资源是http://example.com,则针对stores/indiana/1234.html的请求将抓取http://example.com/stores/indiana/1234.html


  抓取限制:


  抓取的网址仅限于当前网站:例如,如果当前的SearchConsole资源是http://example.com,那么您便无法从https://example.com或http://m.example.com抓取网址。


  抓取操作不会发送任何Cookie、登录信息或其他状态信息。


  抓取操作不会跟踪重定向。如果您抓取的网页存在重定向,您将需要手动前往重定向到的网址,详情请参阅下文中关于“已重定向”抓取状态的说明。


  (可选)选择您希望用于执行模拟抓取操作的Googlebot的类型。这决定了执行抓取操作的具体抓取工具,以及“抓取并呈现”请求的具体呈现方式。您可从以下类型中进行选择:


  当前的-使用当前版本的Google智能手机抓取工具(很快将改用新版本)。


  即将推出的-使用最新版本的Google智能手机抓取工具。


  对于新闻,使用Googlebot抓取工具(不是Googlebot新闻抓取工具)。


  对于包含AdSense代码的网页,使用GoogleAdSense抓取工具。


  对于广告着陆页,使用GoogleAdsBot抓取工具。


  桌面版[默认]-


  移动版:智能手机


  点击“抓取”或“抓取并呈现”:


  抓取:抓取您网站中的指定网址并显示所收到的HTTP响应。不会请求或运行任何关联的网页资源(例如图片或脚本)。这是一种比较简便快捷的操作,可帮助您检查或调试网站的潜在网络问题或安全问题,并了解请求的成败情况。


  抓取并呈现:抓取您网站中的指定网址、显示所收到的HTTP响应,并根据指定的平台(桌面设备或智能手机)呈现相应网页。此操作会请求并运行网页上的所有资源(例如图片和脚本)。您可以使用此操作来检测Googlebot看到的网页外观和用户看到的网页外观之间的差异。


  请求将会被添加到抓取记录表格中,其状态会显示为“待定”。请求处理完毕后,对应的行将会显示请求的成败情况以及一些基本信息。点击该表格中的任意非失败抓取行可查看相应请求的更多详情,包括原始HTTP响应标头和数据,以及(对于“抓取并呈现”)禁止抓取的资源列表和呈现的网页视图。


  如果请求成功且未超过4个小时,您可以告知Google重新抓取已抓取的网页并有可能将其重新编入索引,同时也可视需要对已抓取网页链接指向的任意网页执行上述操作。


  您每周的抓取操作限额为500次。当您接近限额时,页面上会显示一条通知。


  抓取请求的抓取状态


  主页面上抓取记录表格中会显示最近的100条抓取请求。要查看某条已完成的抓取请求的详情,请点击抓取记录表格中的相应行。系统可以显示以下请求抓取状态:


  已完成:Google成功地与您的网站进行了通信并抓取了您的网页,并且可以获得该网页引用的所有资源。点击表格中的相应行可查看抓取结果的相关详情。


  部分完成:虽然Google收到了来自您网站的响应并抓取了相应网址,但由于该网页引用的所有资源均遭到robots.txt文件的屏蔽,因此Google无法访问这些资源。如果这只是抓取操作,请执行抓取并呈现操作。检查呈现的网页中是否有任何重要资源遭到屏蔽,进而导致Google无法正确分析该网页的含义。如果有重要资源遭到屏蔽,请使用robots.txt文件取消屏蔽归您所有的资源。如果遭到robots.txt文件屏蔽的资源不归您所有,请与相应资源的网站所有者联系,让他们取消屏蔽这些资源,以允许Googlebot抓取。查看资源抓取错误说明列表。


  已重定向:服务器以重定向的形式做出了回复。“Google抓取方式”工具不会跟踪重定向。虽然真正的Google抓取工具会跟踪重定向,但“Google抓取方式”工具不会。您必须手动跟踪重定向:您可以查看抓取详情页上的HTTP响应,了解重定向详情。找到相应的HTTP错误代码以便了解详情。重定向可由服务器触发,也可由相应网页上的元标记或JavaScript触发。


  如果重定向目标位于同一媒体资源中,该工具将会显示一个按钮。点击该按钮后,抓取框中将填入相应的重定向,方便您快速跟踪重定向。


  如果网址重定向到您的其他媒体资源,您可以点击“跟踪”以自动填充网址框,然后复制所填入的网址、切换到新网站的视图,并将该网址粘帖到抓取框中。


  具体的错误类型…任何资源类型抓取错误可能也适用于针对整个网页的抓取请求,并可能会显示在状态列中。例如:未找到或无法访问。


以上就是深圳seo优化公司深层分析-Googlebot是如何抓取该网页的相关介绍,希望能够对大家有一定的帮助!更多相关信息请关注我们,获取最新相关咨询,或者直接拨打我们的在线电话,我们将为您提供满意的服务!(本文来源http://www.yiqibaoseo.com/)

相关新闻