区块链技术博客
www.b2bchain.cn

Scrapy 爬取网站图片与壁纸 — 爬取网易阴阳师壁纸篇

这篇文章主要介绍了Scrapy 爬取网站图片与壁纸 — 爬取网易阴阳师壁纸篇的讲解,通过具体代码实例进行23096 讲解,并且分析了Scrapy 爬取网站图片与壁纸 — 爬取网易阴阳师壁纸篇的详细步骤与相关技巧,需要的朋友可以参考下https://www.b2bchain.cn/?p=23096

本文实例讲述了2、树莓派设置连接WiFi,开启VNC等等的讲解。分享给大家供大家参考文章查询地址https://www.b2bchain.cn/7039.html。具体如下:

文章目录

      • 引言
      • 第一步:分析网页 html 结构
      • 第二步:使用 Scrapy 框架构建爬虫程序
        • 配置 setting.py
        • items.py 文件下创建图片 item 类
        • 创建 Spider 文件
        • parse 函数书写
        • 创建自定义的 Pipeline
      • 第三步:运行爬虫项目

引言

大家好!这一期的文章来跟大家讲讲如何使用 Python Scrapy 框架实现对网页上图片的爬取并大量下载。我们以网易旗下的阴阳师手游为例,给大家演示一下游戏壁纸的抓取过程。

第一步:分析网页 html 结构

首先,我们打开阴阳师手游的官网,进入到游戏壁纸下载页面:
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇
将网页下拉,我们还能看到更多的排成三列的壁纸图片:
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇
按F12打开控制台,Shift + Ctrl + C 组合键开启查看网页元素的模式,然后将鼠标移动到某一张壁纸上面,选择一个分辨率按钮点击,我们可以看到相对应的图片标签:
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇
知道了图片url的信息,并不代表这些元素一定包含在网页的静态页面里。为了确保我们的爬虫能够从网页中拿到这个标签,我们来右键点击页面,查看网页源代码:
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇
进入网页源码后,将页面往下拉,我们可以看到一个个 img 标签以相同的形式分装在不断重复的 div 里面:
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇
每一个壁纸的图片地址,都封装在一个 item 下的 cover 下的 mask 中,我们只需要用 CSS 选择器或者 XPath 选择器匹配这些标签就能够顺利获取图片地址。好,很有精神!接下来让我们开启一个爬虫项目来爬取这些壁纸吧。

第二步:使用 Scrapy 框架构建爬虫程序

配置 setting.py

工欲善其事,必先利其器。首先我们在 settings.py 文件中配置好IMAGE相关的属性:
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇
IMAGES_URLS_FIELD 定义了我们之后获取图片URL的字段,我们将这个字段名设置为 image_url
IMAGE_STORE 给出了图片保存的目录位置,我们把爬到的图片放在 [项目位置]/images/yys 文件夹下。
IAMGES_EXPIRES 给出了不重复爬取图片的天数,定为90天。

items.py 文件下创建图片 item 类

打开 items.py 文件,新建一个类,命名为 WallpaperYYSItem。这里一定需要一个 image_url 字段,之后会通过 ImagesPipeline 对该字段中的图片地址请求下载。

class WallpaperYYSItem(scrapy.Item):     image_url = scrapy.Field() 

创建 Spider 文件

在你的项目目录下,通过 scrapy genspider [crawler_name] [url] 开启一个爬虫文件:

scrapy genspider wallpaperYYS https://yys.163.com/media/picture.html 

打开 spiders/wallpaperYYS.py,我们将 WallpaperyysSpider 类下的相关属性改为:
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇

parse 函数书写

接下来就是我们的重头戏了,定义 parse 函数。这里的几个关键步骤为:

  • response.css('.item .cover .mask') 用CSS选择器获取全部包含img标签的节点,并对其做遍历操作。
  • 分析网页源码的时候我们会看到,一张图片有多种分辨率,这里我们根据需求来获取分辨率最大的那一张。由于这里的图片是以分辨率大小升序或降序排列的,那么第一张或者最后一张有可能是分辨率最大的图片。因此我们获取第一张和最后一张,比较其大小,将较大的那张设为 image_url
  • 创建一个 wallpaper_item,给其中的 image_url 赋值,注意我们一定要把 image_url 放在一个列表里!
    def parse(self, response):         _getSize = lambda x: int(x[0]) + int(x[1])         image_nodes = response.css('.item .cover .mask')         for image in image_nodes:             wallpaperF = image.css('a:nth-child(1)')             wallpaperL = image.css('a:nth-last-child(1)')             sizeF = _getSize(wallpaperF.xpath('text()').extract_first().split('x'))             sizeL = _getSize(wallpaperL.xpath('text()').extract_first().split('x'))             if sizeF > sizeL:                 image_url = wallpaperF.xpath('@href').extract_first()             else:                 image_url = wallpaperL.xpath('@href').extract_first()              wallpaper_item = WallpaperYYSItem()             wallpaper_item['image_url'] = [image_url]             yield wallpaper_item 

创建自定义的 Pipeline

在 pipelines.py 文件中继承 ImagesPipeline 创建一个新的 YYSImagesPipeline。这里其实什么也不需要改,使用原来有的功能就行。

class YYSImagesPipeline(ImagesPipeline):     def item_completed(self, results, item, info):         return item 

最后,在 settings.py 文件中将 YYSImagesPipeline 加入 ITEM_PIPELINES

ITEM_PIPELINES = {     'WallpaperCrawler.pipelines.WallpapercrawlerPipeline': 300,     'WallpaperCrawler.pipelines.YYSImagesPipeline': 1, } 

第三步:运行爬虫项目

该配置的都已经配置好了,接下来只需一行命令,就能轻易地将600多张高清壁纸收入囊中。在命令行中输入 scrapy crawl wallpaperYYS,爬虫就能开始爬取。
经过不到一分钟的时间,我们打开对应的文件夹,就能看到600多张高清壁纸都静静地躺在那里啦:
Scrapy 爬取网站图片与壁纸 -- 爬取网易阴阳师壁纸篇



全文完,作者@VelvetExodus。此篇为原创文章,转载请注明出处:
Scrapy 爬取网站图片与壁纸 – 爬取网易阴阳师壁纸篇

本文转自互联网,侵权联系删除Scrapy 爬取网站图片与壁纸 — 爬取网易阴阳师壁纸篇

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » Scrapy 爬取网站图片与壁纸 — 爬取网易阴阳师壁纸篇
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们