Frame
产品搜索
phpweb专用robots通用设置爬虫协议
作者:管理员    发布于:2018-10-07 10:28:51    文字:【】【】【

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

以下是phpweb通用robots.txt文件内容,各站可以根据下面设置具体调整

# robots.txt generated at http://www.baikuan.com 

User-agent: *
Disallow: /advs/admin
Disallow: /base/admin
Disallow: /comment/admin
Disallow: /dingcan/admin
Disallow: /down/admin
Disallow: /feedback/admin
Disallow: /job/admin
Disallow: /member/admin
Disallow: /menu/admin
Disallow: /news/admin
Disallow: /page/admin
Disallow: /photo/admin
Disallow: /product/admin
Disallow: /shop/admin
Disallow: /webmall/admin
Disallow: /kedit/
Disallow: /service/admin
Disallow: /tools/admin
Disallow: ../../"" 
Disallow: ../../-1
Allow: /comment/
Allow: /webmall/
Allow: /news/
Allow: /down/
Allow: /service/
Allow: /member/
Sitemap: ../../sitemap.xml
脚注信息
 Copyright(C)2009-2012 上海百宽网络科技有限公司版权所有
电话(Tel):021-54144728、54144276 传真(Fax):021-54144276 E-mail:
webmaster@baikuan.com
地址: 中国上海市闵行区古美西路631弄208号102室 ( 201102 )
Copyright (C) 1998-2008
BaiKuan Network All Rights Reserved.