scrapy框架的工作流程

admin 44 0

Scrapy框架的工作流程如下:

1. Spiders(爬虫)将需要发送请求的url(requests)经ScrapyEngine(引擎)交给Scheduler(调度器)。

2. Scheduler(排序,入队)处理后,经ScrapyEngine,DownloaderMiddlewares(可选,主要有User_Agent, Proxy代理)交给Downloader。

3. Downloader向互联网发送请求,并接收下载响应(response),将响应(response)经ScrapyEngine,SpiderMiddlewares(可选)交给Spiders。

4. Spiders处理response,提取数据并将数据经ScrapyEngine交给ItemPipeline保存(可以是本地,可以是数据库),提取url重新经ScrapyEngine交给Scheduler进行下一个循环。

以上信息仅供参考,如需了解更多信息,建议查阅Scrapy框架的官方文档或咨询专业技术人员。