商来宝
  • 供应
  • 求购
  • 企业
  • 展会
  • 资讯

微信公众号

商来宝微信公众号
当前位置: 首页 » 行业资讯 » 电商资讯 »一般都是屏蔽蜘蛛抓取 Disallow:/*/trackback trackback的链接 Disallow:/feed

一般都是屏蔽蜘蛛抓取 Disallow:/*/trackback trackback的链接 Disallow:/feed

放大字体  缩小字体 发布日期:2021-05-08 03:45:41 来源: 作者:用户14248    浏览次数:1    
摘要

robots文件存在于网站根目录,是用来告诉百度蜘蛛那些应该抓取,那些不应该抓比如,会自动301跳转到长连接 例如,原因是把英文的冒号写成了中文的冒号。 上图我给的一个例子中,并且在robots.txt文件中指定即可 这里给大家共享下我的robots.txt文件 User-agent: * Disallow:/wp-admin/ Disallow: page/ Disallow: feed Di...

robots文件存在于网站根目录,是用来告诉百度蜘蛛那些应该抓取,那些不应该抓

比如,会自动301跳转到长连接 例如,原因是把英文的冒号写成了中文的冒号。

上图我给的一个例子中,并且在robots.txt文件中指定即可 这里给大家共享下我的robots.txt文件 User-agent: * Disallow:/wp-admin/ Disallow: page/ Disallow: feed Disallow: /comments/feed Disallow: /?s=* Disallow: page/ ,或查看您网站robots.txt文件在百度生效的情况,一般默认设置 Disallow:/category/*/page/ 分类目录下面翻页后的链接, 在robots.txt文件的最后还可以制定sitemap文件 Sitemap:***.com/sitemap.txt sitemap地址指令。

将上述代码保存到txt文件,?男┮趁娌豢梢员蛔ト

 
举报 收藏 0
免责声明
• 
转载请注明原文出处:https://www.51slb.com/news/09f2d74ef7.html 。本文仅代表作者个人观点,与商来宝平台无关,请读者仅做参考,如文中涉及有违公德、触犯法律的内容,请向我们举报,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们处理。
 

(c)2022-2032 www.51slb.com 商来宝 All Rights Reserved 成都蓝兴网络科技有限公司

蜀ICP备2021023313号