欢迎来到爬蛛seo网站优化站点,希望能助你快速提升网站收录和排名,成为一名专业的网络优化师!

甚么是robots文件,robots文件的书写格局

SEO基础知识 2022-08-01 11:33:1235网络刘关雄

  robots和谈是1个网站根目次下的1个txt文本文件,当搜刮引擎蜘蛛在拜候某个网站时,城市查抄这个网站的根域下是不是有这么1个文本文件。所以,它同时也是搜刮引擎蜘蛛来到你站点抓取的第1个文件,这个robots文件的感化就是针对蜘蛛让它对你的站点哪些内容抓取仍是不抓取,给搜刮引擎的1个和谈,它可以或许很好的庇护用户信息,网站隐私等。

  robots法则

  User-Agent: 针对某个搜刮引擎蜘蛛的法则,Allow: 许可抓取Disallow: 不许可抓取* 通配符,所有的$ 竣事符,以甚么甚么结尾。/ 根目次

  注重:以上都是英文状况下输进,包罗冒号,空格,冒号以后有1个英文状况下的空格,首页要字母年夜写,而且写的都是相对路径,而不是尽对路径。

  例如:

  User-Agent: * 针对所有搜刮引擎的法则Disallow: /wp-content/ 不许可抓取这个文件夹Allow: /wp-content/uploads/LOGO.jip 许可抓取这个文件夹里的这个张图片Disallow: /*.js$ 不许可抓取更目次下所有以.js结尾的文件


Copyright © 2022- 爬蛛seo版权所有. 免责声明:网站中图片文案均来源于网络,如有版权问题请联系删除!

SEO优化 SEO百科 xml地图 备案号:皖ICP备88888888号 联系方式:QQ3550549438