用户
 找回密码
 入住 CI 中国社区
搜索
查看: 4058|回复: 6
收起左侧

[已解决] ci站的robot.txt怎么写?

[复制链接]
发表于 2009-9-10 21:03:02 | 显示全部楼层 |阅读模式
都需要禁止爬虫哪些目录,允许哪些目录呀?
发表于 2009-9-10 21:54:51 | 显示全部楼层
一般就是禁止访问 system 目录就可以了,如果隐藏了 index.php 就不需要做任何事情了。
发表于 2009-9-11 08:42:22 | 显示全部楼层
好问题,3QHEX大的答案
 楼主| 发表于 2009-9-11 16:00:01 | 显示全部楼层
谢谢回答~
发表于 2012-6-15 10:06:40 | 显示全部楼层
Hex 发表于 2009-9-10 21:54
一般就是禁止访问 system 目录就可以了,如果隐藏了 index.php 就不需要做任何事情了。 ...

您好,hex,我的system目录是公用的。目录结构类似于
--htdocs
  |--system
  |--项目1
  |--项目2
  |--。。。



这种的robot.txt要怎么写呢?谢谢!
发表于 2012-6-15 12:49:04 | 显示全部楼层
终结者 发表于 2012-6-15 10:06
您好,hex,我的system目录是公用的。目录结构类似于
--htdocs
  |--system

你如果隐藏了 index.php 了就不需要 robots.txt 了
实际上,就是不让搜索引擎访问 system 就可以了。
发表于 2012-6-18 10:19:30 | 显示全部楼层
Hex 发表于 2012-6-15 12:49
你如果隐藏了 index.php 了就不需要 robots.txt 了
实际上,就是不让搜索引擎访问 system 就可以了。 ...

嗯,谢谢hex

本版积分规则