起航学习网

提及网络爬虫或许很多人都不太了解，经常会有人问什么是网络爬虫?简单的来讲，网络爬虫就是爬取数据，在我们生活中十分常见，接下来我们了解一下关于爬虫的知识吧。

网络爬虫是一个互联网机器人，通过爬取互联网网上的网站内容来工作，它是用计算机语言编写的程序或者脚本，用于自动从Internet上获取任何信息或数据。机器人扫描并抓取每个所需页面上的某些信息，直接处理完所有正常打开的页面。

常见的爬虫分为有四种：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。

1、通用WEB爬虫：爬取的目标数据十分巨大，并且爬行的范围也是很大的，正常由其爬取的数据是海量数据，故而对于这类爬虫来说，其爬取的性能要求是很高的。这类爬虫主要应用于大型搜索引擎中，有很高的价值。

2、聚焦网络爬虫：按照预先定义好的主题有选择地进行网页爬取的一种爬虫，聚焦网络爬虫不像通用爬虫一样将目标资源定位全互联网，而是将爬取目标网页定位与主题相关页面，可以大大节省爬虫爬取时所需的带宽资源和服务器资源。

3、增量WEB爬虫：爬取网页的时候，只爬取内容发生变化的网页或者新产生的网页，对于未发生内容变化的网页，则不会爬取。增量式网络爬虫在一定程度上能够保证所爬取的页面，尽可能是新页面。

4、深层网络爬虫：深层页面则隐藏在表单后面，不能通过静态链接直接获取，需要提交一定的关键词之后才能够获取得到的页面，在互联网中，深层页面要比表层页面数量多，所以需要想办法爬取深层页面。

文章出自：http://qh.itpxw.cn/peixun/it/202066640.html

文章标题：什么是网络爬虫?老男孩Python培训班

免责声明：本站文章均由入驻起航学习网的会员所发或者网络转载，所述观点仅代表作者本人，不代表起航学习网立场。如有侵权或者其他问题，请联系举报，必删。侵权投诉