[聚合文章] Pyspider使用Selenium+Chrome实现爬取js动态页面

  1. 首页
  2. 聚合文章
  3. 文章详情
JavaScript 1900-01-01 13 阅读
原文链接: https://www.jianshu.com/p/8d955deac99b
加密混淆后的js

  • 想到的方案：
  1. 分析加密的js，看怎么计算出的cookie，是否有规律可以生成该cookie等，然后每次访问时带上此cookie即可。
  2. 使用Pypisder自带的PhantomJs脚本，以PhantomJs的方法执行这个加密的JS，然后获取html的内容。
  3. 使用Selenium +WebDriver + Headless Chrome的方式获取html的内容。
  4. 使用puppeteer + Headless Chrome获取html的内容。
  • 分析方案：

  1. 分析加密的js不是件容易的事，要破解加密方法等难度相对较大，时间成本有限，暂时放弃。

  2. 本打算使用pyspider自带的phanthomjs方式，结果是phanthoms在访问上面的url时，一直处于卡死的状态;而且phantomjs的作者已经放弃维护它了，对于bug的修复和新的js语法支持力度不够。（需要进一步分析为什么会卡死？）

  3. 最终想到了selenium+webdriver+headlesschrome组合神器。想着如果能使用seleniu+chrome实现爬取动态页面，搭配pyspider爬取动态页面岂不是很爽。chrome是真正的浏览器，支持js特性比较全面，能真实的模拟用户请求，而且Chrome官方也出了针对headless chrome的api(node版本)，api的可靠性，支持chrome特性的力度都非常的好。

  4. puppeteer 是nodejs版本的api， 对nodejs不熟悉，暂时先忽略。

Chrome

Chrome浏览器从59版本之后开始支持headless模式，用户可以在无界面下进行各种操作，例如：截图、把html输出PDF等等。MAC、Linux、Windows均有对应的Chrome，请根据平台进行下载、安装。更多headless chrome的用法可以参考：headless chrome用法

Selenium

Selenium是一个自动浏览器。虽然官方文档说Selenium是一个自动浏览器，但它并不是真正的浏览器，它只是可以驱动浏览器而已。Selenium是通过WebDriver来驱动浏览器的，每个浏览器都有对应的WebDriver。如果我们要用Chrome，就需要下载Chrome的WebDriver。

Selenium有很多语言版本的，你可以选择使用java, python等版本的。我这里选择使用python版的。python版本的selenium可以通过pip进行安装：pip install selenium

下载WebDriver时需要选择对应的平台，比如我是在win上跑，下载的就是windows平台的。

配置PATH

把下载的WebDriver放在PATH环境变量可以加载到的位置，这样在程序中不用指定webDriver，会方便很多。

Python版本的Headless Chrome Web Server

  • pyspider利用phantomjs爬取js动态页面的原理：
    pyspider搜索PATH中的phantomjs命令，然后使用phantomsjs去执行phantomjs_fetcher.js，从而启动一个监听固定port的web server服务；当在Handler中的self.crawl(xxx)方法中带上fetch_type='js'参数时，pyspider便发请求给这个port，利用phantomjs去转发请求，访问js动态页面，从而爬虫动态页面。

如果我想利用selenium+chrome爬取动态页面，也需要实现一个web server，以便pyspider可以访问它，利用它转发请求。python版本的实现如下：

"""selenium web driver for js fetcher"""import urlparseimport jsonimport timeimport datetimefrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom flask import Flask, requestapp = Flask(__name__)@app.route('/', methods=['POST', 'GET'])def handle_post():    if request.method == 'GET':        body = "method not allowed!"        headers = {            'Cache': 'no-cache',            'Content-Length': len(body)        }        return body, 403, headers    else:        start_time = datetime.datetime.now()        raw_data = request.get_data()        fetch = json.loads(raw_data, encoding='utf-8')        print('fetch=', fetch)        result = {'orig_url': fetch['url'],                  'status_code': 200,                  'error': '',                  'content': '',                  'headers': {},                  'url': '',                  'cookies': {},                  'time': 0,                  'js_script_result': '',                  'save': '' if fetch.get('save') is None else fetch.get('save')                  }        driver = InitWebDriver.get_web_driver(fetch)        try:            InitWebDriver.init_extra(fetch)            driver.get(fetch['url'])            # first time will sleep 2 seconds            if InitWebDriver.isFirst:                time.sleep(2)                InitWebDriver.isFirst = False            result['url'] = driver.current_url            result['content'] = driver.page_source            result['cookies'] = _parse_cookie(driver.get_cookies())        except Exception as e:            result['error'] = str(e)            result['status_code'] = 599        end_time = datetime.datetime.now()        result['time'] = (end_time - start_time).seconds        # print('result=', result)        return json.dumps(result), 200, {            'Cache': 'no-cache',            'Content-Type': 'application/json',        }def _parse_cookie(cookie_list):    if cookie_list:        cookie_dict = dict()        for item in cookie_list:            cookie_dict[item['name']] = item['value']        return cookie_dict    return {}class InitWebDriver(object):    _web_driver = None    isFirst = True    @staticmethod    def _init_web_driver(fetch):        if InitWebDriver._web_driver is None:            options = Options()            # set proxy            if fetch.get('proxy'):                if '://' not in fetch['proxy']:                    fetch['proxy'] = 'http://' + fetch['proxy']                proxy = urlparse.urlparse(fetch['proxy']).netloc                options.add_argument('--proxy-server=%s' % proxy)            # reset headers, for now, do nothing            set_header = fetch.get('headers') is not None            if set_header:                fetch['headers']['Accept-Encoding'] = None                fetch['headers']['Connection'] = None                fetch['headers']['Content-Length'] = None            if set_header and fetch['headers']['User-Agent']:                options.add_argument('user-agent=%s' % fetch['headers']['User-Agent'])            # disable load images            if fetch.get('load_images'):                options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})            # set viewport            fetch_width = fetch.get('js_viewport_width')            fetch_height = fetch.get('js_viewport_height')            width = 1024 if fetch_width is None else fetch_width            height = 768 * 3 if fetch_height is None else fetch_height            options.add_argument('--window-size={width},{height}'.format(width=width, height=height))            # headless mode            options.add_argument('--headless')            InitWebDriver._web_driver = webdriver.Chrome(chrome_options=options, port=10001)    @staticmethod    def get_web_driver(fetch):        if InitWebDriver._web_driver is None:            InitWebDriver._init_web_driver(fetch)        return InitWebDriver._web_driver    @staticmethod    def init_extra(fetch):        # maybe throw TimeOutException        driver = InitWebDriver._web_driver        if fetch.get('timeout'):            driver.set_page_load_timeout(fetch.get('timeout'))            driver.set_script_timeout(fetch.get('timeout'))        else:            driver.set_page_load_timeout(20)            driver.set_script_timeout(20)            # # reset cookie            # cookie_str = fetch['headers']['Cookie']            # if fetch.get('headers') and cookie_str:            #     # driver.delete_all_cookies()            #     cookie_dict = dict()            #     for item in cookie_str.split('; '):            #         key = item.split('=')[0]            #         value = item.split('=')[1]            #         cookie_dict[key] = value            #     # driver.add_cookie(cookie_dict)    @staticmethod    def quit_web_driver():        if InitWebDriver._web_driver is not None:            InitWebDriver._web_driver.quit()if __name__ == '__main__':    app.run('0.0.0.0', 9000)    InitWebDriver.quit_web_driver()

此实现参考pyspider源码：tornado_fetcher.py和phantomjs_fetcher.js。但是，实现的功能不全，只实现了我需要的功能。诸如：设置cookie, 执行js等并没有实现，您可以参考上面的实现，实现自己的需求。

让pyspider fetcher访问Headless Chrome Web Server

  1. 先启动chrome web server，直接运行：python selenium_fetcher.py即可，端口为9000
  2. 在启动pyspider时，指定--phantomjs-proxy=http://localhost:9000参数，如：pyspider --phantomjs-proxy=http://localhost:9000。

注：本文内容来自互联网，旨在为开发者提供分享、交流的平台。如有涉及文章版权等事宜，请你联系站长进行处理。