只有被百度抓取的网站才是一个优秀的网站,百度抓取网站的次数越多,那么代表这个网站越出色,那么有哪些查看网站被百度抓取的方法?
查看网站被百度抓取的方法:
通过分析网站日志中百度蜘蛛的活动性、抓取频率、返回的HTTP状态码等。也可以查看网站根目录下的日志文件,记录网站的访问和操作。
百度用来抓取网页的程序叫Baiduspider-百度蜘蛛。我们主要的活动:抓取频率和返回HTTP状态码。
查看日志的方法:
使用FTP,在网站根目录中找到一份日志文件,文件名称通常包含log,下载解压内部的记事本,即网站日志,记录网站的访问和操作。
由于每个服务器和主机的情况不同,不同的主机日志功能记录的内容也不同,有些甚至没有日志功能。
日志内容如下:
61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"分析:GET /bbs/thread-7303-1-1.html 代表,抓取/bbs/thread-7303-1-1.html 这个页面。
200代表成功抓取。
8450代表抓取8450字节。
如果你的日志格式不是这样的,那么就是日志的格式设置不同。
在许多日志中,200 0 0和200 0 64表示正常捕获。
抓取频率是通过查看日志中百度蜘蛛的抓取次数看出来的。抓取频率没有标准的时间表或频率数字,我们通常通过比较日志来判断。当然,我们希望百度蜘蛛每天抓取的次数越多越好。
以上就是关于怎么查看网站被百度抓取的方法的详细内容讲解了,有疑问的同学可以联系我们“金点网”讨论咨询。