• 欢迎来到老丁学习笔记

标签:页面不收录

python与seo

解决页面不收录方法:爬虫页上线效果记录

解决页面不收录方法:爬虫页上线效果记录
距爬虫页上线已有两周时间。 此前网站每天产生的新页面几乎不收录,此后针对搜索引擎爬虫单独为站点某一个类目下的页面做了一套爬虫页。几分钟前查询这个类目下的最近新页面的收录情况,惊喜地发现该类目下的页面竟然有日收! 本次查询页面总数:9783 收录的页面总数:480 收录率为:4.9% 虽然效果依然不理想,不过说明此前的猜想方向是正确的,可以继续后续操作。之后将……继续阅读 »

laoding 2年前 (2017-09-21) 0个赞

python与seo

记录页面不收录原因排查的过程

记录页面不收录原因排查的过程
每天产生的新页面收录一直很不理想,尝试了很多办法寻找原因,本文特地整理了一下整个排查原因的流程,如下图所示: 如上图所示,排查主要分为两个方面:1、爬虫抓取情况;2、页面自身问题; 一、对于爬虫抓取情况。 如果排查下来这方面出现问题的话,增加相应的页面的入口即可,这个相对来讲比较好解决; (相应的过程都可以写爬虫处理,日志统计可参考此前的文章:使用pyth……继续阅读 »

laoding 2年前 (2017-09-20) 0个赞