起航学习网

　　Python工程师的就业方向有很多，其中包含Python爬虫开发，它是非常受欢迎的就业岗位，也是很多企业热招的岗位。那么你知道面试Python爬虫开发工程师的时候会问及哪些问题吗?老男孩教育为大家提供几个相关面试题目，希望对你有所帮助。

　　Scrapy和scrapy-redis有什么区别?

　　Scrapy属于Python爬虫的框架之一，效率高，具有高度定制性，但是不支持分布式;scrapy-redis是一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，slaver端共享master端redis数据库里的item队列、请求队列和请求指纹集合。

　　Scrapy框架的运行机制是什么?

　　从start_urls获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕之后，调度器将请求队列里面的请求交给下载器去获取请求对应的资源，然后将响应交给自己编写的解析方法进行提取处理。

　　1如果提取出需要的数据，直接交给管道文件进行处理;

　　2如果提取出url，会继续执行之前的步骤，直到请求队列里没有请求，程序即可结束。

　　Post和get的区别是什么?

　　Post：请求不能被缓存下来，post请求不会保存在浏览器浏览记录中，post请求的url无法保存为浏览器书签;没有长度限制;请求会把请求的数据放置在http请求包的包体中;post的安全性比get高。

　　Get：指定的服务器中获取数据。Get请求能够被缓存;会保存在浏览器的浏览记录中;以get请求的url能够保存为浏览器书签;请求具有长度限制;get请求主要用以获取数据。

　　老男孩教育专注Linux云计算运维工程师、Python全栈+人工智能、Python自动化运维开发、网络安全、数据分析、新媒体运营、MySQLDBA开发、K8S微服务、Go语言等互联网课程培训。欢迎对it行业感兴趣的朋友们来公司考察及学习。

文章出自：http://qh.itpxw.cn/peixun/it/202175850.html

文章标题：Scrapy和scrapy-redis有什么区别?老男孩Python培训

免责声明：本站文章均由入驻起航学习网的会员所发或者网络转载，所述观点仅代表作者本人，不代表起航学习网立场。如有侵权或者其他问题，请联系举报，必删。侵权投诉