适用于WordPress的Robots.txt协议规则 优化搜索引擎爬虫访问

test 92 0
摘要:

创建和管理WordPress站点,robots.txt是关键的工具,可以控制搜索引擎爬虫在网站抓取哪些页面和不能抓取哪些页面,优化搜索引擎爬虫的访问对提高网站的可见性和排名至关重要。

前言

  创建和管理WordPress站点,robots.txt是关键的工具,可以控制搜索引擎爬虫在网站抓取哪些页面和不能抓取哪些页面,优化搜索引擎爬虫的访问对提高网站的可见性和排名至关重要。

适用于WordPress的Robots.txt协议规则 优化搜索引擎爬虫访问

使用方法

一、复制以下内容(此规则是WordPress站点通用)。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php
Disallow: /*?*

Sitemap: https://域名/wp-sitemap-posts-post-1.xml

二、在网站根目录创建名为robots.txt的文本文件,把以上内容粘贴到robots.txt文件内,再把内容的最后一条的域名修改成自己网站的域名并保存文件。

适用于WordPress的Robots.txt协议规则 优化搜索引擎爬虫访问

三、访问网址:https://域名/robots.txt,检查内容是否正确。

适用于WordPress的Robots.txt协议规则 优化搜索引擎爬虫访问

四、robots.txt内容最后一行的Sitemap,是WordPress内置Sitemap(站点地图)生成工具,此功能开关位置:进入WordPress后台 > 设置 > 阅读 > 对搜索引擎的可见性

建议:WordPress已内置Sitemap站点地图生成工具,没必要额外安装第三方的生成Sitemap站点地图插件。

适用于WordPress的Robots.txt协议规则 优化搜索引擎爬虫访问

可选附加规则

一、部分主题内置前端用户中心功能,用户中心的链接例如:https://域名/user/,不想被搜索引擎抓取,把/user/添加到robots.txt,规则如下。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php
Disallow: /*?*
Disallow: /user/

Sitemap: https://域名/wp-sitemap-posts-post-1.xml

二、部分主题和SEO相关优化插件,有外链转内链的功能,把文章内容里的外链(非本站域名的链接)转换成内链,例如:https://域名/?go=xxxxxxxxx,建议添加到robots.txt,规则如下。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php
Disallow: /*?*
Disallow: /user/
Disallow: /?go=

Sitemap: https://域名/wp-sitemap-posts-post-1.xml

发表评论 取消回复
表情 图片 链接 代码

分享