起航学习网

- 让每个人都能学到最前沿新知识、新技能!
起航学习网
当前位置: 起航学习网 > 职业教育 > Python爬虫好学吗?初学者如何学习Python爬虫

Python爬虫好学吗?初学者如何学习Python爬虫

时间:2018-08-30 11:53:00来源:IT培训网 作者:IT培训网 已有: 名学员访问该课程

前言:爬虫主要分为两个部分,第一个是网页界面的获取,第二个是网页界面的解析;爬虫的原理是利用代码模拟浏览器访问网站,与浏览器不同的是,爬虫获取到的是网页的源代码,没有了浏览器的翻译效果。

Python爬虫好学吗?初学者如何学习Python爬虫,在当前大环境下,如何学习python开发呢?

Python爬虫好学吗?看你怎么学了。如果是自学,会难一些,毕竟有难题很难找到人帮你解答,很容易半途而废。要是你找到了一家靠谱的学校,就会容易很多。不过,这里我想教你入门Python爬虫。

一:爬虫准备(在安装好Python的前提下)

1.爬虫首先需要做的事情就是要确定好你想要爬取数据的对象,这里我将以百度主页logo图片的地址为例进行讲解。

2.首先,是打开百度主页界面,然后把鼠标移动到主页界面的百度logo图标上面,点击鼠标右键,然后点击审查元素,即可打开开发者界面。

3.然后再下面的界面里面,可以看到该logo图标在HTML里面的排版模式,<img hidefocus="true" src="//百度/img/bd_logo1.png" width="270" height="129">,这里百度我用字替换了。

二:开始爬虫

1.爬虫主要分为两个部分,第一个是网页界面的获取,第二个是网页界面的解析;爬虫的原理是利用代码模拟浏览器访问网站,与浏览器不同的是,爬虫获取到的是网页的源代码,没有了浏览器的翻译效果。

2.首先,我们进行页面获取,python爬虫的话很多模块包提供给开发者直接抓取网页,urllib,urllib2,requests(urllib3)等等,这里我们使用urllib2进行网站页面的获取;首先导入urllib2模块包(该包是默认安装的):import urllib2

3.导入模块包之后,然后调用urllib2中的urlopen方法链接网站,代码如下repr = urllib2.urlopen("XXXXXX"),XXXXXX代表的是网站名称。

4.得到网站的响应之后,然后就是将页面的源代码读取出来,调用read方法,html = repr.read()

5.获取到页面的源代码之后,然后接下来的工作就是将自己想要的数据从html界面源代码中解析出来,解析界面的模块包有很多,原始的re,好用的BeautifulSoup,以及高大上的lxml等等,这里我就简单的用re介绍介绍,首先导入re模块包:import re

6.然后进行利用re进行搜索,这里我有使用正则表达式,看不懂的同学需去补充点正则表达式方面的知识。

7.然后,我这里就实现了一个简单的爬虫流程,打印url,可以看见刚好就是之前我们看见的百度主页logo的地址。

8.源代码:

import urllib2

repr = urllib2.urlopen("URL")

html = repr.read()

import re

省略一行代码

print url

因为python2和python3在企业中各有应用,石家庄达内”python培训课程”新加入python2和python3课程内容,全面讲解和对比两个版本的异同和用途。

企业中Linux应用广泛,无论是编程环境还是服务器端,Linux都是主流操作系统。石家庄达内python爬虫引入Linux课程,让学员实际体验企业中如何做开发。因为python2和python3在企业中各有应用,石家庄达内”python培训”课程新加入python2和python3课程内容,全面讲解和对比两个版本的异同和用途。

文章出自:http://qh.itpxw.cn/qgtk/201843146.html

文章标题:Python爬虫好学吗?初学者如何学习Python爬虫



免责声明:本站文章均由入驻起航学习网的会员所发或者网络转载,所述观点仅代表作者本人,不代表起航学习网立场。如有侵权或者其他问题,请联系举报,必删。侵权投诉

(责任编辑:IT培训网)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
培训学校
IT培训网 访问该机构站点 报名留言 加为好友 用户等级:注册会员 用户级别:10 机构名称:IT培训网 联 系 人:罗老师 联系电话:13783581536 联系手机:13783581536 在线客服:起航学习网客服 在 线 QQ:起航学习网客服 电子邮件: 网站域名:http://www.itpxw.cn 注册时间:2016-07-18 11:07 最后登录:2024-02-20 13:02