一.配置好fiddler和手机
让手机能够通过fiddler代理访问网络
二.抓包
打开快手APP,Fiddler会快速显示好多信息,那些都是手机传送或则接收到的信息。可以挨个包点开,以json方式查看是否是我们须要的内容,如右图所示:
这时可以见到,有一个包里显示了好多信息,包括视频的标题,发布者,再往下拉,发觉里边包含好多称作“main_mv_url"的标签,复制其中一个标签后的url到浏览器,发觉浏览器下载了一个mp4格式的视频,点开视频,就是我们须要的。为了让列表中只显示我们须要的包,让视图更清晰,可以用过滤器,只显示URL中含/rest/n/feed/的内容
回到Fiddler,看之前那种包的头(Fiddler右上窗口),里面有个url,可以复制到浏览器会发觉打开的不是和Fiddler右下角一样的json界面,而是显示服务器忙碌,由于这个url是不完整的。注意右上窗口最后一行有个“type=......”这似乎是完整url的后半部份,要把它拼接到第一行POSTurl的旁边,但是以&联接。把完整的url再复制到浏览器,得到和Fiddler右下窗口类似的内容(不是完全一样,由于视频内容会更新),ok
再观察“type=...”这串字符,可以多抓几个包对比一下,发觉count前面跟随的数字是不一样的快手里面赞视频怎么删,即每位json里所含视频个数不一样。平均每位json中富含20个视频的下载链接。page前面的数字就代表页数,在快手界面不断的往下降,隔一小段时间会有另一个包,可以发觉page后的数字是递增的。__NStokensig和sig后跟的一串数字是没有规律可循的,要破解快手APP的代码能够知晓。所以未能把握每位json的url变化规律快手里面赞视频怎么删,所以若是要抓取20个以上的视频,只能通过在快手app页面上往下滑动,抓包,copy完整的url到文本文件再用程序进行下载。我一共是抓了106个包,用了半小时不到,所以虽然是很快的,最后能获取有2000多个视频,。
快手的小视频爬取