什么是robots.txt？
时间：2019-03-16 22:38:42
分类：SEO优化知识
阅读：1680
摘要：我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。
在企业网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现，那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件，就这么一句话可以解释robots.txt是什么，但是我们需要注意的几点：
1.robots.txt必须存放在网站的根目录下
2.其命名必须为robots.txt
3.robots.txt是搜索引擎访问网站的第一个文件
4.robots.txt中必须指明user-agent
以上就是robots的介绍了，需要注意的是，不要将敏感信息写进robots文件里。
珈文网络凭借6年专业企业网站建设经验，坚持以“帮助中小企业实现网络营销化”为宗旨，累计为1200多家中小企业客户提供品质建站服务，得到了客户的一致好评。如果您有公司网站建设优化、企业网站改版、域名注册、主机空间租赁、手机网站建设、网站备案、小程序开发、APP开发、企业宣传视频制作等方面的需求，请点击QQ咨询我们或拨打咨询热线：158 155 17902（同微信）吧。
声明：本文来自网友投稿，本站免一切责任，如有侵权，请联系小编删除。
链接：https://www.jin-you.com/news/453.html
链接：https://www.jin-you.com/news/453.html
