admin 管理员组

文章数量: 1087139


2024年1月18日发(作者：seek的过去式)

Scrapy的运作流程由引擎控制，其过程如下:

(1)引擎向Spiders请求第个要爬取的URL(s)。

(2)引擎从Spiders中获取到个要爬取的URL，装成Request并交给调度器。

(3)引擎向调度器请求下一个要爬取的Request。

(4)调度器返回下一个要爬取的Request给引擎，引擎将Request通过下载中间件转发给下载器。

(5)一旦页面下载完毕，下载器生成一个该页面的Response,并将其通过下载中间件给引擎。

(6)引擎从下载器中接收到Response并通过Spider中间件给Spider处理。

(7)Spider处理Response并返回爬取到的Item及新的Request给引擎。

(8)引擎将爬取到的Item给ItemPipeline,将Request给调度器。

(9)从第(2)步始重复，直到调度器中没有更多的Request。

为了帮助家更好地理解Scrapy的一次完整运行流程，把Scrapy的运作流程用拟人小剧场的进行表现，如下所示:

(1)引擎:Hi!Spider,你要处理哪一个?

(2)Spider:老要处理。

(3)引擎:你把个需要处理的URL给吧。

(4)Spider:给你，个。

(5)引擎:Hi!调度器，这有Request请求，你帮排序入队一下。

(6)调度器:好的，正在处理，你等一下。

(7)引擎:Hi!调度器，把你处理好的Request请求给。

(8)调度器:给你，这处理好的Requesto

(9)引擎:Hi!下载器，你按照老的下载中间件的设置帮下载一下这个Request请求。

(10)下载器:好的!给你，这下载好的东西。(如果失败:Sorry,这个Request下载失败了。然后引擎告诉调度器，这个Request下载失败了，你记录一下，们待会儿再下载)。

(11)引擎:Hi!Spider,这下载好的东西，并且已经按照老的下载中间件处理过了，你自己处理一下(注意!这儿Responses默认交给defparse(这个函数处理的)。

1

(12)Spider:(处理完毕数据之后对于需要跟进的URL)，Hi!引擎，这里有两个结果，这个需要跟进的URL,还有这个获取到的Item数据。

(13)引擎:Hi!管道，这儿有个item你帮处理一下!调度器!这需要跟进的URL你帮处理下。

(14)管道，调度器:好的，现在就!

然后，从第(4)步始循环，直到获取完老需要的全部信息。

2


本文标签： 下载 引擎 调度 需要 获取

版权声明：本文标题：scrapy框架的工作流程介绍 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1705552779a489618.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。