小蜗牛 发表于 2012-9-21 00:40:24

网站在头部用了base href导致蜘蛛抓取链接错误。

本帖最后由 小蜗牛 于 2012-9-21 00:43 编辑

网站上线不久，蜘蛛总是抓取一些不存在的页面，网站在头部用了base_url 导致蜘蛛抓取链接错误。页面头部<base href="http://www.travel-cn.net/"/>

当www.domain.com/aaaa/这个页面存在相对链接<a href="bbb">bbb</a>时，蜘蛛会爬取www.domain.com/aaaa/bbb这个链接，而实际上我们点击这个bbb链接的时候因为有base href 我们点击的时候跳转的是www.domain.com/bbb。请问导致这个问题怎么解决？ 没有办法的话只能去掉base href。

Shengzhi 发表于 2012-9-21 09:22:32

去掉base呗~

小蜗牛 发表于 2012-9-21 14:42:39

只能去掉了，推荐大家不要在head中加base href。
页: [1]
查看完整版本: 网站在头部用了base href导致蜘蛛抓取链接错误。