学科分类
目录
网络爬虫

XPath语法

在Python中,XPath使用路径表达式在文档中进行导航。这个表达式是从某个节点开始,之后顺着文档树结构的节点进一步查找。由于查询路径的多样性,可以将XPath的语法按照如下情况进行划分:

1. 选取节点

节点是沿着路径选取的,既可以从根节点开始,也可以从任意位置开始。表1列举了XPath中用于选取节点的表达式。

表1 选取节点的表达式

表达式 说明
nodename 选取此节点的所有子节点
/ 从根节点选取
// 从匹配选择的当前节点选取文档中的节点,而不用考虑它们的位置
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性

接下来是一些选取节点的示例,具体如下:

1) 选取节点bookstore的所有子节点,表达式如下:

bookstore  

2) 选取根节点bookstore,表达式如下:

/bookstore 

需要注意的是,如果路径以“/”开始,那么该路径就代表着到达某个节点的绝对路径。

3) 从根节点bookstore开始,向下选取属于它的所有book子节点,表达式如下:

bookstore/book

4) 从任意位置开始,选取名称为book的所有节点,表达式如下:

//book

与上一个表达式相比,该表达式不用再说明符合要求的这些节点在文档树中的具体位置。

5) 在节点bookstore的后代中,选取所有名称为book的所有节点,而且不用管这些节点位于bookstore之下的什么位置,表达式如下:

bookstore//book

6) 使用“@”选取名称为lang的所有属性节点,表达式如下:

//@lang

2. 谓语(补充说明节点)

谓语是对指路径表达式的附加条件,这些条件都写在方括号中,表示对节点进行进一步筛选,用于查找某个特定节点或者包含某个指定值的节点,具体格式如下。

元素[表达式]

接下来,通过一张表来列举一些常用的带有谓语的路径表达式,以及对这些表达式功能的说明,具体如表2所示。

表2 使用谓语的表达式

表达式 说明
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] 选取所有的title元素,且这些元素拥有名称为lang的属性。
//title[@lang=’eng’] 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。

3. 选取未知节点

XPath可以使用通配符(*)来选取未知的节点。例如,使用“ *”可以匹配任何元素节点。接下来,通过一张表来列举带有通配符的表达式,具体如表3所示。

表3 带有通配符的表达式

通配符 说明
* 匹配任何元素节点。
@* 匹配任何属性节点。
node() 匹配任何类型的节点。

下面是一些使用通配符的示例,具体如下:

1) 选取bookstore元素的所有子元素,表达式如下:

/bookstore/*

2) 选取文档中的所有元素,表达式如下:

//*

3) 选取所有带有属性的title 元素,表达式如下:

//title[@*]

4. 选取若干路径

在路径表达式中可以使用“|”运算符,以选取若干个路径。下面是一些在路径表达式中使用“|”运算符的示例,具体如下:

1) 选取book元素中包含的所有title和price子元素,表达式如下:

//book/title | //book/price

2) 选取文档中的所有title和price元素,表达式如下:

//title | //price

3) 选取位于/bookstore/book/路径下的所有title元素,以及文档中所有的price元素,表达式如下:

/bookstore/book/title | //price
点击此处
隐藏目录