起航学习网

　Python是一门高级的编程语言，它语法简单、清晰，容易入门，可用的包、库、模块有很多，即便是初学者也能够快速实现简单的网络爬虫，那么你知道Python中爬虫模块有哪些吗?我们一起来看看吧。

　　Python自带爬虫模块：urllib、urllib2;

　　第三方爬虫模块：requests、aiohttp;

　　爬虫框架：Scrapy、pyspider。

　　Python爬虫模块优缺点介绍：

　　Urllib和urllib2模块都用于请求url相关的操作，但他们提供了不同的功能。Urllib2模块中urllib2.urlopen可以接受一个Request对象或者url，且只接收一个url;urllib中有urlencode，而urllib2中没有。因此，开发人员在实际开发中经常会将urllib和urllib2一起使用。

　　Requests是一个http库，仅仅用于发送请求。对于http请求而言，Requests是一个强大的库，可以自己处理下载、解析，灵活性很高，高并发与分布式部署也非常灵活，对于功能可以更好实现。

　　Aiohttp是一个基于Python3的asyncio携程机制实现的一个http库，对比Requests，aiohttp自身就具备了异步功能，但只能在Python3环境中使用。

　　Scrapy是封装起来的框架，包含下载器、解析器、日志及日常处理，是基于多线程的，采用twisted的方式处理。对于固定单个网站的爬取开发，Scrapy具有优势;对于多网站爬取，并发及分布式处理方面，Scrapy不够灵活，不便调整与扩展。

　　Pyspider是一个重量级的爬虫框架，我们知道scrapy没有数据库集成、分布式、断点续爬的支持、UI控制界面等;若Scrapy想要实现这些功能，需要自行开发。Pyspider集成了前面这些功能，正因如此，pyspider扩展性太差，学习难度较大。

　　做Python开发培训，我们是认真的：国内Python课程培训领头团队，课程学完前端、后端、全栈都能做，偏向Python开发方向，讲师均为全职业内资深大牛;严格管理，对每一位学员负责;学风好，互帮互助;学员毕业后以是老男孩IT教育学员为荣;80%学员来自就业学员口碑介绍。

文章出自：http://qh.itpxw.cn/peixun/it/202178518.html

文章标题：Python Urllib和urllib2哪个模块好？老男孩Python教程

免责声明：本站文章均由入驻起航学习网的会员所发或者网络转载，所述观点仅代表作者本人，不代表起航学习网立场。如有侵权或者其他问题，请联系举报，必删。侵权投诉