起航学习网

　　众所周知，Python有很多框架可以使用，比如说Scrapy。它是一个适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从网页中提取结构化的数据，用途十分广泛，那么你知道Scrapy有什么功能吗?Scrapy的架构是什么?

　　Scrapy是一个适用抓取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛的领域，Scrapy常应用在包括数据挖掘、信息处理和存储历史数据等一系列的程序中，通常我们可以很简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或图片。

　　Scrapy的架构有哪些?

　　Scrapy Engine：负责Spider、itemPipeline、Downloader、Scheduler中间的通讯，信息、数据传递等;

　　Scheduler：负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排序，入队，当引擎需要时，交还给引擎;

　　Downloader：负责下载Scrapy Engine发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine，由引擎交给Spider来处理;

　　Spider：负责处理Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler;

　　Item Pipeline：负责处理Spider中获取的item，并进行后期处理的地方;

　　Downloader Middlewares：一个可以自定义扩展下载功能的组件;

　　Spider Middlewares：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。

　　如果你对Python感兴趣，想要学习Python，就来老男孩教育吧!老男孩教育Python培训采用线上、线下相结合的方式，科学的教学方法，无论学员选择哪一种授课方式，均能学到真知识!

文章出自：http://qh.itpxw.cn/peixun/it/202170656.html

文章标题：Python的Scrapy框架怎么样？老男孩Python开发

免责声明：本站文章均由入驻起航学习网的会员所发或者网络转载，所述观点仅代表作者本人，不代表起航学习网立场。如有侵权或者其他问题，请联系举报，必删。侵权投诉