admin 管理员组

文章数量: 1184232

本次目的：

python 抓取某某站图片

本次亮点：

  1. 系统性分析页面
  2. 多页面数据解析
  3. 海量图片数据保存

开发环境 & 第三方模块：

  • 解释器版本 >>> python 3.8
  • 代码编辑器 >>> pycharm 2021.2
  • requests >>> pip install requests
  • parsel >>> pip install parsel

爬虫主要流程:

一. 网站分析

  1. 找到目标网站
    链接
  2. 获取每个相册的地址 去批量的下载图片

二. 代码实现过程

  1. 发送网络请求 向相册列表页 链接
  2. 获取数据 网页源代码
  3. 筛选数据 相册地址
  4. 发送网络请求 向相册页面 并且 获取数据 网页源代码
  5. 筛选数据 图片地址
  6. 发送网络请求 & 获取数据 向图片地址
  7. 保存图片

代码编写

1. 导入模块

import requests
import parsel   # lxml  re  bs4
import re
import os

2. 加一个伪装

headers = {
   
   
    'referer': 'https://www.jdlingyu/tuji',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.10

本文标签： 看得 全站 不学 源码 完整

版权声明：本文标题：使用python 采集某网站全站美女图片 ，这么好看得图还不学起来（含完整源码） 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1754594936a3018674.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。