crgod 发表于 2009-9-10 21:03:02

ci站的robot.txt怎么写？

都需要禁止爬虫哪些目录，允许哪些目录呀？

Hex 发表于 2009-9-10 21:54:51

一般就是禁止访问 system 目录就可以了，如果隐藏了 index.php 就不需要做任何事情了。

kazaff 发表于 2009-9-11 08:42:22

好问题，3QHEX大的答案

crgod 发表于 2009-9-11 16:00:01

谢谢回答~

终结者 发表于 2012-6-15 10:06:40

Hex 发表于 2009-9-10 21:54 static/image/common/back.gif
一般就是禁止访问 system 目录就可以了，如果隐藏了 index.php 就不需要做任何事情了。 ...

您好，hex，我的system目录是公用的。目录结构类似于
--htdocs
|--system
|--项目1
|--项目2
|--。。。



这种的robot.txt要怎么写呢？谢谢！

Hex 发表于 2012-6-15 12:49:04

终结者 发表于 2012-6-15 10:06 static/image/common/back.gif
您好，hex，我的system目录是公用的。目录结构类似于
--htdocs
|--system


你如果隐藏了 index.php 了就不需要 robots.txt 了
实际上，就是不让搜索引擎访问 system 就可以了。

终结者 发表于 2012-6-18 10:19:30

Hex 发表于 2012-6-15 12:49 static/image/common/back.gif
你如果隐藏了 index.php 了就不需要 robots.txt 了
实际上，就是不让搜索引擎访问 system 就可以了。 ...

嗯，谢谢hex
页: [1]
查看完整版本: ci站的robot.txt怎么写？