APP数据抓取半自动化方案
工具 刘宇帅 8天前 阅读量: 82
有些APP本身加了签名所以不太好直接拿到接口去抓取,所以需要用APP的浏览行为来抓取数据。当然这不是很好的方法,理论上是可以研究api参数或者反编译来找到签名逻辑,但是这个是比较难的,成本太高,所以如果不是量很大的抓取可以用如下的半自动化方法。
手机+charles+mitmproxy+scrcpy
手机
需要用手机抓包,所以可以用Iphone或者Android 7 以下系统或者root过的安卓手机
charles
charles 本身可以直接抓包,但是它不能二次开发,所以需要把charles的全局代理接口配置到 mitmproxy上
mitmproxy
mitmproxy 也是一个抓包工具,但是 https 抓取好像没那么好使,所以配合charles使用,mitmproxy可以写插件直接实时处理请求,那么我们就可以直接写到文件或者数据库或者远程API
scrcpy
因为需要用手机刷页面,所以用scrcpy来投屏到电脑端,然后用python去模拟点击或者滑动。另外scrcpy不支持IPhone。