一、Robot的设置
1.1Robot的作用:设置后,网站中的内容可以指定哪些目录或文件不能被访问
注意:
- 遵守Robots限制协议,如输入内容"/",那么所有文件都不允许访问;多个目录或文件请用回车换行。
- 建议选择全部开放,默认数据 “Disallow: /目录”请不要删除,是不让Robots抓取的目录,保护不想公开的内容。
- robots.txt可以告诉百度及其它搜素引擎您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
- 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,让你的站点在有更好的表现。
1.2设置路径:登录后台—SEO—Robot文件