起航学习网

　　提到Python爬虫，相信大家一定不陌生，Python可应用的领域不止爬虫，还包括人工智能、后端开发、机器学习等，今天借本篇文章给大家介绍下Python爬虫的三方库都有哪些，请看下文：

　　网络(通用)

　　urllib-网络库(stdlib)

　　requests-网络库

　　grab-网络库(基于pycurl)

　　pycurl-网络库(绑定libcurl)

　　urllib3-Python HTTP库，安全连接池、支持文件post、可用性高

　　httplib2-网络库

　　RoboBrowser-一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。

　　MechanicalSoup-一个与网站自动交互Python库。

　　mechanize-有状态、可编程的web浏览库

　　socker-底层网络接口(stdlib)

　　Unirest for Python-Unirest是一套可用于多种语言的轻量级的HTTP库

　　hyper-Python的HTTP/2客户端

　　PySocks-SocksiPy更新并积极维护的版本，包括错误修复和一些其他的特征。作为socket模块的直接替换。

　　异步：

　　treq-类似于requests的API(基于twisted)

　　aiohttp-asyncio的HTTP客户端/服务器(PEP-3156)

　　网络爬虫框架

　　功能齐全的爬虫

　　grab-网络爬虫框架(基于pycurl/multicur)

　　scrapy-网络爬虫框架(基于twisted)，不支持Python3

　　pyspider-一个强大的爬虫系统

　　cola-一个分布式爬虫框架

　　其他

　　portia-基于Scrapy的可视化爬虫

　　restkit-Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象

　　demiurge-基于PyQuery的爬虫微框架

　　老男孩教育Python培训课程学完前端、后端、全栈都能做，偏向Python开发方向，讲师均为全职业内资深大牛;严格管理，对每一位学员负责;学风好，互帮互助;学员毕业以后均可以找到满意的工作，80%学员来自就业学员口碑介绍。

文章出自：http://qh.itpxw.cn/peixun/software/2022123883.html

文章标题：Python爬虫的三方库都有哪些？老男孩Python开发课程

免责声明：本站文章均由入驻起航学习网的会员所发或者网络转载，所述观点仅代表作者本人，不代表起航学习网立场。如有侵权或者其他问题，请联系举报，必删。侵权投诉