Zen Cart如何正确的书写Robots文件

重复页面

在之前的文档中海外主机小编已讲到过，重复的内容的页面如果被搜索引擎收录会有被惩罚的后果。允许搜索蜘蛛机器人在不采用会跟踪其在网站上浏览路径的会话 ID 或参数的情况下抓取您的网站。这些技术对跟踪单个用户的行为非常有用，但蜘蛛机器人的访问模式却完全不同。”比如zencart程序产生的 index.php?main_page=site_map与index.php?main_page=site_map& language=gb内容完全一致，导致重复页面的产生，显然会降低整个网站在搜索引擎算法评估中得出的质量。Zen Cart实现伪静态后，动态依然存在，这样很容易造成了搜索引擎抓取了很多重复页面，接下来我们可以利用robots.txt文件来屏蔽蜘蛛抓取这些重复的页面。Zen Cart如何正确的书写Robots文件步骤如下：1、在php空间根目录新建一个robots.txt2、在文件中输入如下代码：

User-agent: *Disallow: /cgi-bin/Disallow: /images/Disallow: /cache/Disallow: /docs/Disallow: /extras/Disallow: /tempEP/Disallow: /*?Disallow: /*?zenid*Disallow: /*alpha_filter_id*Disallow: /*?languageDisallow: /*cPathDisallow: /privacy.htmlDisallow: /gv_faq.htmlDisallow: /discount_coupon.htmlDisallow: /unsubscribe.htmlDisallow: /conditions.htmlDisallow: /popup_image_additional.htmlDisallow: /tell_a_friend.htmlDisallow: /product_reviews_write.htmlDisallow: /pages-popup_image.html?Disallow: /popup_image_additional.html?Disallow: /index.php?main_page=create_accountDisallow: /index.php?main_page=shippinginfoDisallow: /index.php?main_page=privacyDisallow: /index.php?main_page=conditionsDisallow: /index.php?main_page=unsubscribeDisallow: /index.php?main_page=loginDisallow: /index.php?main_page=product_reviews_writeDisallow: /index.php?main_page=featured_productsDisallow: /index.php?main_page=products_newDisallow: /index.php?main_page=popup_imageDisallow: /index.php?main_page=product_info&cPathDisallow: /index.php?main_page=product_info&products_idDisallow: /index.php?main_page=tell_a_friend

Tags：重复页面，Zen Cart如何正确的书写Robots文件

版权声明：本站文章来源标注为YINGSOO的内容版权均为本站所有，欢迎引用、转载，请保持原文完整并注明来源及原文链接。禁止复制或仿造本网站，禁止在非www.yingsoo.com所属的服务器上建立镜像，否则将依法追究法律责任。本站部分内容来源于网友推荐、互联网收集整理而来，仅供学习参考，不代表本站立场，如有内容涉嫌侵权，请联系alex-e#qq.com处理。