当前位置: 首页文章中心SEO优化知识

什么是robots.txt?

  • 2019-03-16
  • 1683
摘要:我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。
在企业网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。

robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么,但是我们需要注意的几点:

1.robots.txt必须存放在网站的根目录下

2.其命名必须为robots.txt

3.robots.txt是搜索引擎访问网站的第一个文件

4.robots.txt中必须指明user-agent

以上就是robots的介绍了,需要注意的是,不要将敏感信息写进robots文件里。

珈文网络凭借6年专业企业网站建设经验,坚持以“帮助中小企业实现网络营销化”为宗旨,累计为1200多家中小企业客户提供品质建站服务,得到了客户的一致好评。如果您有公司网站建设优化、企业网站改版、域名注册、主机空间租赁、手机网站建设、网站备案、小程序开发、APP开发、企业宣传视频制作等方面的需求,请点击QQ咨询我们或拨打咨询热线:158 155 17902(同微信)吧。 
声明:本文来自网友投稿,本站免一切责任,如有侵权,请联系小编删除。

您需要做网站还是小程序?

欢迎联系我们,我们可以提供企业网站建设、小程序开发、外贸独立站、商城建设等IT外包服务

7×24

小时售后支持

Explorer

跨浏览器兼容

ICP

免费ICP备案服务

W3C

符合W3C标准及规范

微信打开