怎样设计网站能对爬虫更友好,一下分享几点内容:
1、链接长度,短比长好,越长越不容易被爬虫抓取
2、链接里最好不要有中文
3、网站的回访:打开速度快,识别难度(图片、视频几乎不识别,尽量别ajax)
4、有效收录(一个页面最少有20-30个链接)
5、访问日志
各大搜索引擎的爬虫名称:
baiduspider、360spider、googlebot、bingbot