1.前言
网易云音乐的网页端与服务端通讯做了加密，本人才疏学浅破解不了，于是考虑用
selenium +phantomjs的方式爬取，selenium 用pip install selenium 安装
phantomjs 官网下载安装包即可，Python版本为3.6，用了mysql数据库，环境为win7 不过理论上linux mac也可以跑
2.爬取思路
点开一首歌的页面，这首歌的评论也会出现在页面下方，当然通常情况下一页是加载不完的，所以得通过模拟点击下一页的方式一页一页的捞评论，因为只是爬取数据顺便学习下，只爬取了用户id，用户昵称，建立了一个 userid nickname music 构成的mysql表，同时将爬取并且通过selenium 解析出来的页面信息缓存到本地，以后也许会有用的上的地方
3.几个关键点
在爬取过程中有几个点需要注意
- 1.selenium +phantomjs 解析页面时，如果页面上用到了iframe，需要switch_to.frame()的方式切换到对应的iframe，否则可能会导致查找不到需要的 element
- 2.页面上有异步的ajax请求时，最好在做操作后等待一会再查找element，否则有可能找不到数据
- 3.有的操作是让页面重新走了下ajax请求如点击下一页，这个时候页面不需要重新加载url地址，有些则需要，比如这首歌的评论我爬完了，爬取下一首
4.结合代码讲解下
代码一个是操作数据的sqlinstance.py 一个是主程序 spider_main.py
sqlinstance 用了sqlalchemy框架，目前只有一张表用于记录用户和歌曲的评论关系，
代码如下
from sqlalchemy import create_engine, text, Column, Integer, String, Sequence, \ Date, UniqueConstraint, BigIntegerfrom sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy.orm import sessionmakerBase = declarative_base()class MusicCmt(Base): __tablename__ = "t_musiccmts" id=Column(Integer,primary_key=True,autoincrement=True) userid = Column(BigInteger) nickname=Column(String(20),nullable=False) musicid = Column(BigInteger, nullable=False) __table_args__ = (UniqueConstraint('nickname', 'musicid'), )# 建立连接engine = create_engine('mysql+pymysql://pig:123456@localhost:3306/cloudmusic?charset=utf8' ,encoding='utf-8',echo=False,pool_size=50, pool_recycle=3600)DBSession = sessionmaker(bind=engine)# 通过代码创建数据库try: MusicCmt.__table__.create(engine)except Exception as e : print(e) passclass SqlInstance: def addmark(self,**kwargs): session = DBSession() try: # 插入一条数据 session.add( MusicCmt(userid=kwargs['userid'], musicid=kwargs['musicid'],nickname=kwargs["nickname"])) session.commit() except Exception as e: print(e) pass session.close()sqlInstance=SqlInstance()代码看完 基本的sqlalchemy 建立mysql数据表并插入数据的操作就可以做了，其他复杂操作可以查官网，这里我也不多说了
接下来是主程序了，因为元素定位是用来很多xpath的语法，不熟悉的同学最好先看下语法，然后自己打开一个网易云音乐的页面，用Chrome的检查元素，再通过xpath查询的方式定位element ，可以验证下代码和xpath语法
主程序代码如下
import osimport reimport timefrom selenium import webdriverfrom selenium.webdriver import DesiredCapabilitiesimport configparserimport sqlinstance# 将目标musicid存到了一个文件里面，这个如果要做大的话可以动态获得config = configparser.ConfigParser()config.read('myselectMusic.ini')musiclist= config['nemusic']['id'].split(",")# //PHANTOMJS自定义userAgent，避免被反爬dcap = dict(DesiredCapabilities.PHANTOMJS)dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36")driver = webdriver.PhantomJS(desired_capabilities=dcap)# 设置一个很长的网页加载数据，省的有些情况还得滚动页面driver.set_window_size(1920,5000)for musicid in musiclist: # 加载歌曲第一页 driver.get("http://music.163.com/#/song?id=%s" % (musicid)) # 等待网页ajax 请求完成 time.sleep(1) ele = driver.find_element_by_class_name("g-iframe") # print(ele) # 页面里面有iframe嵌套，如果要定位的元素iframe里面 # 必须切换，否则会查找不到 driver.switch_to.frame(ele) pagenum=1 # 查看下已经爬取了多少页， # 避免重复操作 savedfiles = os.listdir("saves") thissaved = [a for a in savedfiles if a.startswith(musicid) and a.count("final")>0] if(len(thissaved)>0): continue maxpage=0 try: thissaved = [int(a.replace(musicid + "_", "").replace(r".txt", "")) for a in savedfiles if a.startswith(musicid)] except: maxpage == "final" pass if maxpage and maxpage == "final": continue if len(thissaved)>0: maxpage = sorted(thissaved, reverse=True)[0] else: maxpage=0 maxpage=int(maxpage) if maxpage>0: current_is_end=False while True: # 这个xpath是查找页面底部的 1.2,3 。。。这些的翻页element # 点击就是跳的目标页了 # 网易云音乐的布局是 最后一个是跳转下一页，倒数第二个是跳转最后一页 # ，倒数第二个是翻一个大页面，如1-10 点了下就变成3-13 这种 pagejumps = driver.find_elements_by_xpath( "//div[contains(@class,'u-page')]/a") target=[ a for a in pagejumps if a.text==str(int(maxpage)+1)] if target: pagenum = maxpage+1 target[0].click() time.sleep(1) break else: pagejumps[-3].click() time.sleep(1) while True: # 这个xpath就是找到当前页面的所有评论的用户昵称 cmts=driver.find_elements_by_xpath("//div[@class='cnt f-brk']/a[@class='s-fc7']")# print(len(kk)) if len(cmts)>0: for aelemnt in cmts: urluid=aelemnt.get_attribute("href") print("nikename:%s url%s" %(aelemnt.text,aelemnt.get_attribute("href"))) try: # 从点击昵称的跳转链接正则解析出用户uid saveuid=re.findall(r"id=(\d+)",urluid)[0] except: saveuid=None pass # 数据存入数据库 sqlinstance.sqlInstance.addmark(userid=saveuid, musicid=musicid,nickname=aelemnt.text) # 找到页面上的下一页按钮 nextpagebtn=driver.find_element_by_xpath("//div[contains(@class,'u-page')]/a[text()='下一页']") str = driver.find_element_by_xpath("//html").get_attribute("innerHTML") # 判断当前页是否为最后一页 if "js-disable" in nextpagebtn.get_attribute("class"): print("最后一页") # 缓存下爬取的数据 with open("saves/%s_%s.txt" % (musicid, "final"), "w",encoding='utf-8') as f: f.write(str) break else: nextpagebtn.click() with open("saves/%s_%s.txt" % (musicid, pagenum), "w",encoding='utf-8') as f: f.write(str) pagenum += 1 time.sleep(2)# 退出浏览器别忘了driver.quit()然后直接Python 跑下就好了,效果如图所示
注：本文内容来自互联网，旨在为开发者提供分享、交流的平台。如有涉及文章版权等事宜，请你联系站长进行处理。