360抓取诊断错误信息处理之360蜘蛛ip白处理

 

抓取错误信息:
Recv failure: Connection reset by peer

抓取失败处理:

请先查看抓取错误信息,判断抓取失败原因,进行优化处理。比如错误提示:Recv failure: Connection reset by peer、 Unknown SSL protocol error in connection to www.example.com:443,这种错误是因为我们抓取检测IP被禁,导致抓取检测失败。请将:220.181.132.235 182.118.31.216,进行加白处理。

360搜索的蜘蛛在访问网站时,都会带上带有360Spider签名信息的UA,其形态为:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gcko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

为满足站长朋友们的需求,SEO顾问高敏现将最新360搜索的蜘蛛IP段公布出来,供大家参考,请大家注意,不要误拦截360搜索蜘蛛,以避免出现收录或网站抓取异常。

以下为360搜索的蜘蛛ip段:
180.153.232.*
180.153.234.*
180.153.236.*
42.236.101.*
42.236.102.*
42.236.103.*
42.236.12.*
42.236.13.*
42.236.14.*
42.236.15.*
42.236.16.*
42.236.17.*
42.236.46.*
42.236.48.*
42.236.49.*
42.236.50.*
42.236.51.*
42.236.52.*
42.236.53.*
42.236.54.*
42.236.55.*
42.236.99.*

发表评论

电子邮件地址不会被公开。 必填项已用*标注