文享日志

HttpProxy项目介绍

爬虫

发表于2018年07月13日19:05:39

更新于2018年08月05日12:28:11

0条评论 210次阅读

  HttpProxy是一个用于检测西刺代理中可用代理地址的小项目。同时提供代理API,请求即可获得可用代理。


      WebSplider项目中已经实际使用。HttpProxy使用WebSplider爬虫获得代理地址,HttpProxy进行代理检测,之后WebSplider又请求HttpProxy的API获得检测出的代理地址,将代理用于数据爬取。


实例地址:

http://httpproxy.docmobile.cn


实例镜像

https://httpproxys.herokuapp.com

该镜像使用的是国外的代理源,由同样部署在Heroku上的WebSplider提供API支持

该镜像支持https


API调用

http://httpproxy.docmobile.cn/fetchanswer

默认筛选规则是500毫秒响应


http://httpproxy.docmobile.cn/fetchanswer?testTime=1000

指定筛选响应时间。testTime参数指定响应时间,设置的时间越长,得到结果越多,同时说明代理越不可靠。


http://httpproxy.docmobile.cn/fetchanswer?testTime=1000&testSrc=1

testSrc参数为1,为西刺代理,参数为2,为国外代理


项目地址:

https://github.com/LuckyHH/HttpProxy



👍 0  👎 0
共有0条评论

发表新评论

提交

广告展示

腾讯云推广 阿里云推广