工欲善其事,必先利其器。
爬取网页数据,一般都是采用页面Xpath和请求接口取得数据。两种方式都有弊端,Xpath 需要不停的定位和寻找数据的位置,接口不仅需要查找接口,而且需要加密解密。
demo用获取抖音的推荐接口,这个接口是加密的。接口地址是:/aweme/v1/web/aweme/post/(开发者工具中的网络标签可以找到接口)
之前分享过一次用代码片段(code snippet)的方式,有些人可能尝试过。对js的熟悉程度很高,门槛不低。但是不妨碍学习,因为你发现只需要变更url地址就可以获取到数据。
我们用代码片段的目的是要拿到加密后的请求地址。今天我们分享python的方式,用更简单的方式来处理数据。
依然是RPC的方式(在本地执行远程js方法,解决扣js补环境的问题),browser 是 selenium,定义一个类,代码稍微的规范一下。signatureurlget 方法里面是上面图的内容。init只是初始化了一个webdriver.ChromeOptions()。
运行一下,获取到加密的地址。请求加密的地址,获取到结果
这样就能直接使用返回的json做点自己想做的事情了,亲自试过了头条,抖音,巨量引擎,京东等网站。
以上就是抖音喜欢列表怎么翻到最早的的全部内容,希望能够对大家有所帮助。
2023-03-29
2023-04-15
2023-08-30
2023-03-16
2024-03-18
英盛企业版苹果版
办公学习84.1MB
下载东方财富期货苹果版
办公学习216.3MB
下载新概念英语第一册苹果版
办公学习228.6MB
下载菜鸟点我达苹果最新版
系统工具160.8MB
下载HiSuiteapp苹果版
系统工具31.1MB
下载黑洞代理苹果版
生活实用38.6MB
下载MXF Video Converter苹果版
摄影图像53MB
下载超级阿姨苹果最新版
生活实用186.8MB
下载史莱姆模拟器游戏苹果版
其他软件176.6MB
下载北京卫视养生堂app
医疗健康6.73MB
下载