分享让学习更有效!《第一部分》:Fiddler爬取视频
首先我在b站上找到下列视频,一步步安装和配置fiddler
成功下载证书到桌面bingo!
2. 在抓取今日头条的视频过程中,我按照视频的说明并没有找到url,后来在up主“就喜欢虚拟”的帮助下,发现视频在embedurl里面,复制到浏览器右键便可直接下载。
左边的包选择的是具有向左向右箭头的,右边的是json文件
3. 对于下载B站中的视频要复杂一点,
左边的包选择的是向左向右箭头的文件,右边选择textview,然后找到body里面的baseUrl,这个直接复制到浏览器是打不开的状态,需要构造完整的请求头
我是在pycharm里面构造的,状态码输出为200表示成功拿到视频。然后通过open 和write存到本地
下载的测试视频如上(诗诗哈)
《第二部分》:APP数据抓取实战学习笔记
此处学习需要科学上网!
:
我下载switchyOmega插件并安装后,导致我浏览器不能正常打开网页了,后来我删除了此插件,发现并不影响我的抓包。
:可以直接在浏览器上面下载“豆果美食”,我在软件商店没有找到遇到“夜神模拟器里面显示无法安装此证书,因为无法读取”问题时,通过以下操作在夜神模拟器中安装Fiddlers证书,解决问题:
:可能是由于我电脑上面装了银联控件,我的fiddler上面一直会有“fiddler代理设置问题导致出现“The system proxy was changed,click to reenable fiddler capture",我每次采取店家解决,事实上并不影响我抓包;可以看到我已经成抓包
:注意在构造headers的时候,不要错误的写成header,否则会收到以下报错:
:
请求的detail_url忘记删除实例id,会造成以下状态错误
detail_url='http://api.douguo.net/recipe/detail/1762516'+str(caipu_info['shicai_id'])
正确代码:detail_url='http://api.douguo.net/recipe/detail/'+str(caipu_info['shicai_id'])
: