起航学习网

　　现在正处于大数据时代，而且大数据被广泛的应用到我们的日常生活之中，在这样的市场驱动之下，越来越多的人都想要加入大数据的行列，那么大数据开发的日常工作内容有哪些呢?老男孩教育为大家介绍一下。

　　大数据开发的日常工作内容：

　　(1)数据采集：业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。

　　(2)数据存储：清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。

　　(3)数据分析统计：数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

　　(4)数据可视化：用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据。

文章出自：http://qh.itpxw.cn/peixun/it/202059309.html

文章标题：大数据平时主要做什么呢?老男孩IT教育

免责声明：本站文章均由入驻起航学习网的会员所发或者网络转载，所述观点仅代表作者本人，不代表起航学习网立场。如有侵权或者其他问题，请联系举报，必删。侵权投诉