[聚合文章] 爬虫课程(十三)|ajax分析法(雪球),通过获取api并破解api的反爬策略爬取数据

Ajax 2017-11-26 20 阅读

说明:本文是接着上一篇微博的ajax分析法进一步说明一种特殊情况,下一篇文章会按照计划完善微博爬虫。

我们在上一篇文章爬虫课程(十二)|ajax分析法(微博):通过获取api爬取新浪微博内容数据实战中通过分析获取ajax方式请求的api,通过这个api我们可以直接拿到返回的json数据。那么是不是分析出api就可以很轻易地获取到我们想要的数据呢?

一、分析获取雪球文章内容的api

首先我们依然打开chrome的开发者工具,点击network的标签,选择XHR。
如下图:

注:本文内容来自互联网,旨在为开发者提供分享、交流的平台。如有涉及文章版权等事宜,请你联系站长进行处理。