[原创]百度排名日志分析

LogParser的导入SQL Server的命令:

logparser -i:IISW3C "SELECT TO_LOCALTIME(TO_TIMESTAMP([date], [time])) as [logdate] , [s-sitename], [s-computername], [s-ip], [cs-method], [cs-uri-stem], [cs-uri-query], [s-port], [cs-username], [c-ip], [cs-version], [cs(User-Agent)], [cs(Cookie)], [cs(Referer)], [cs-host], [sc-status],[sc-substatus], [sc-win32-status], [sc-bytes], [cs-bytes], [time-taken] INTO IISLog FROM d:\logs\ex*.log WHERE TO_LOWERCASE (EXTRACT_EXTENSION(cs-uri-stem)) NOT IN (‘gif’;’jpg’;’png’;’bmp’;’ico’;’axd’)" -o:SQL -server:MIKEL\MIKEL -database:Logs -driver:"SQL Server" -username:sa -password:justdoit -createTable:OFF

Dos下通过Ping反查IP指向的域名命令如下:
ping -a 123.125.66.134

百度蜘蛛标示如下:

百度各个产品使用不同的user-agent:

产品名称 对应user-agent
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
网页以及其他搜索 Baiduspider

1.视频\图片信息蜘蛛抓取IP段:61.135.168.44-61.135.168.50

2.js脚本抓取蜘蛛IP段:61.135.165.202-61.135.165.206

赞(0) 打赏
分享到: 更多 (0)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏