在Scrapy中如何利用Xpath选择器从网页中采集目标数据

数据库 MySQL
这篇文章我们将通过Xpath表达式来进行提取数据,具体教程如下,仍然以之前的网站为例进行说明,我们的目标数据是标题、发布日期、主题、正文内容、点赞数、收藏数、评论数等。具体的教程如下。

[[347459]]

这篇文章我们将通过Xpath表达式来进行提取数据,具体教程如下,仍然以之前的网站为例进行说明,我们的目标数据是标题、发布日期、主题、正文内容、点赞数、收藏数、评论数等。具体的教程如下。

 

/具体实现/

1、针对标题,在上篇文章中就有提及,其Xpath表达式有多种,任选其一即可,在scrapy shell脚本下进行调试,得到标题的提取方式,并写入到爬虫主体文件中。

2、接下来是发布日期的提取,仍然是以交互式的方式实现网页与源码之间的交互,如下图所示。

3、而且标签“entry-meta-hide-on-mobile”具有全局唯一性,可以很方便的定位到元素。

4、根据网页结构,我们可轻易的写出发布日期的Xpath表达式,可以在scrapy shell中先进行测试,再将选择器表达式写入爬虫文件中,详情如下图所示。

这里有部分杂质信息,需要利用strip()和replace()函数剔除多余的杂质,还日期一个“清白”。

5、关于文章主题标签的Xpath表达式,可以看到其在网页结构上处于日期的下方,如下图所示。

因此可以通过更改一下发布日期的Xpath表达式,即可获取到文章主题标签。

6、文章主题标签处于a标签下,如下图所示。

获取到整个列表之后,利用join函数将数组中的元素以逗号连接生成一个新的字符串叫tags,然后写入Scrapy爬虫文件中去。

7、对于点赞数,其分析方法同之前一致,找到唯一的一个标签“vote-post-up”即可定位到数据。

8、细心的小伙伴可能会看到“vote-post-up”属性并不是class标签中唯一一个属性,所以一开始的Xpath表达式匹配的内容为空。

这里给大家安利一个小技巧,如果标签中存在多个属性,且属性是唯一的时候,可以利用contains函数进行助攻,其用法是'//span[contains(@class,"vote-post-up"),务必要多加练习,否则容易忘记。根据网页结构写出Xpath表达式,调试的过程如下图所示。

取出的点赞数是个字符串,需要利用int()将其强制转换为数字。

/小结/

本文基于Xpath理论基础,主要介绍了Scrapy爬虫框架中利用Xpath选择器提取某个网页中目标数据的方法,为后面抓取全网数据埋下伏笔,更精彩的操作在下篇文章奉上,希望对大家的学习有帮助。

 

责任编辑:姜华 来源: Python爬虫与数据挖掘
相关推荐

2020-10-25 08:15:47

Scrapy

2020-10-25 08:06:08

Scrapy

2020-10-29 09:25:34

Scrapy

2010-09-03 09:30:29

CSS选择器

2015-11-17 09:37:52

网页设计黄金比例

2020-11-11 10:58:59

Scrapy

2012-04-16 14:32:31

iOS选择器代码

2010-09-07 12:56:49

id选择器CSS

2011-07-07 17:30:25

iPhone Xcode

2023-11-30 08:36:10

选择器链接设计

2023-11-29 10:16:24

ScrapyPython

2009-05-14 10:44:54

JQuery特殊字符ID选择器

2009-07-16 17:06:55

JSP网页中JDBC代

2010-09-14 14:10:36

CSS样式表

2017-03-20 14:46:07

Android日期时间选择器

2017-10-18 17:52:50

2011-11-28 13:42:55

Sencha Touc组件选择器

2012-12-27 14:08:39

Android开发颜色选择器

2013-04-19 10:40:03

2009-05-12 10:36:38

OracleREDO恢复
点赞
收藏

51CTO技术栈公众号