促进蜘蛛爬行网站的技巧
一、确保服务器工作正常 要时常查看服务器的日志,查看是否有存在异常情况,比如是否阶段性存在大量500错误,是否存在大量304状态或者是在抓取的时候,平时间隔很短,这段时间突然间隔很长时间才抓取一次页面等等基本问题,然后根据具体的问题,做具体的针对性分析。比如,最近收录下降了,那么首先要检查,是不是抓取的次数减少了;如果最近的更新收录速度慢了,那么检查一下抓取的频度是不是降低了;如果用户日志没有异常,而爬虫日志中存在大量500错误,那么就要查看一下服务器维护记录,是不是有做过防火墙或者其他防攻击的安全部署,