• 欢迎来到老丁学习笔记

标签:日志分析

python与seo

[Python与SEO]日志分析:404状态码检测流程

[Python与SEO]日志分析:404状态码检测流程
上周网站突然间出现大量的404状态码(如下图所示),初步对这些404状态码表示怀疑,可能是冒充百度爬虫的再大量抓取,造成404。 今天开始对这几天的404状态码ip进行检测,整个流程图如下: 最后得到三个文本文件,分别记录404日志记录、百度爬虫404记录以及非百度爬虫404记录,如下图所示: 从文件大小看出,非百度爬虫访问记录占了巨大多数。然后将这些……继续阅读 »

laoding 2年前 (2017-09-12) 0个赞