爬虫学习之xpath（爬虫xpath定位方法）

前面学习了使用requests获取页面源码，今天一起学习如何解析源码？

xpath表达式：

是最常用最便捷高效的一种解析方式且，通用性强。

解析原理： 1、实例化一个etree对象，且需要将被解析的页面源码数据加载到该etree对象中。 2、调用etree对象中的xpath方法，结合xpath表达式实现标签定位和内容获取。

环境安装： pip install lxml

实例化etree对象： from lxml import etree

1、将本地html文档加载： etree.parse(filePath) 2、将互联网获取的源码加载 etree.HTML('page_text') 3、xpath表达式

/：表示从根节点开始定位。表示一个层级。
//:表示多个层级。可以表示从任意位置开始定位。
属性定位：//div[@class='song']     tag[@attrName='atttrValue']
索引定位：//div[@class='song']/p[3]    索引从1开始
取文本：
      /text()：获取的是标签中直系的文本内容
     //text()：获取的非直系的文本内容（所有的文本内容）
取属性：
     /@attrName     ==>img/src

?

程序源码（爬取指定页面，解析其中的LI列表，并保存为TXT文本文件）：

import requests
from lxml import etree
?
headers = {
         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
     }
if __name__ == "__main__":
    # 获取页面源码
     url = 'https://weixin.qq.com/'
     page_text = requests.get(url=url, headers=headers).text
?
     # 数据解析
     tree = etree.HTML(page_text)
     li_list = tree.xpath('/html/body/div/div/div[2]/div[3]/ul/li')        #将li对象列表赋值给li_list变量
     print(li_list)
?
     fp = open('test.txt', 'w', encoding='utf-8')
    # 循环遍历列表对象
     for li in li_list:
         title = li.xpath('./a/text()')[0]      # /text()：获取的是标签中直系的文本内容
         print(title)
         fp.write(title+'\n')   #写入文本文件，并添加换行符