文享日志

WebSplider更新日志

爬虫

发表于2018年07月05日13:09:12

更新于2018年08月15日01:49:44

0条评论 320次阅读

1、添加对GBK格式网页的抓取支持

2、添加对分页网址的抓取支持

3、添加登录注册

4、支持生成数据接口

5、首页面板添加用户分享的接口链接



2018年7月5日

1、将抓取结果保存到数据库,后台默认每3小时更新一次数据。保证了数据接口响应速度。

2、针对移动端访问优化



2018年7月11日

1、添加HTTP代理

    代理模式中的西刺代理,由HttpProxy进行筛选并提供可用代理API。

    无代理模式,由我的服务器发起请求。

    自定义代理模式,由用户自己输入可信代理。



2018年7月15日

1、优化代码

2、修复应用意外重启后,定时更新数据失效的Bug



2018年7月18日

1、添加分享配置界面,方便查看所有分享的配置


2018年7月20日

1、优化返回数据格式


2018年7月21日

1、添加JSONP调用支持。前端也可进行API调用

2、添加数据接口API调用demo

http://demo.docmobile.cn

https://github.com/LuckyHH/WebSplider-demo


2018年7月27日

1、数据接口API添加请求成功与否的状态

2、增强了应用健壮性

3、大量优化代码,减少代码冗余

4、自动更新部分进行Bug修复与代码优化

5、主页面"提交"按钮添加锁🔐,防止多次连续不断的点击使得应用崩溃重启


2018年8月5日

1、添加输入验证

2、添加国外代理模式


2018年8月8日

1、前后端分离,WebSpliderPanel(https://github.com/LuckyHH/WebSpliderPanel)

虽然WebSplider没有该panel也可以使用,但由于其内置前端页面实现的不好,所以还是推荐使用该panel。


2018年8月15日

1、修复代理Bug



👍 0  👎 0
共有0条评论

发表新评论

提交

广告展示

腾讯云推广 阿里云推广