|
|
本帖最后由 小蜗牛 于 2012-9-21 00:43 编辑
网站上线不久，蜘蛛总是抓取一些不存在的页面，网站在头部用了base_url 导致蜘蛛抓取链接错误。页面头部<base href="http://www.travel-cn.net/"/>
当www.domain.com/aaaa/这个页面存在相对链接<a href="bbb">bbb</a>时，蜘蛛会爬取www.domain.com/aaaa/bbb这个链接，而实际上我们点击这个bbb链接的时候因为有base href 我们点击的时候跳转的是www.domain.com/bbb 。请问导致这个问题怎么解决？ 没有办法的话只能去掉base href。 |
|
IP卡
狗仔卡
发表于 2012-9-21 00:40:24
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
楼主