大数据业务流程总结中大型企业

/ / 2015-10-25
介绍 最近在接触大数据相关的知识,大概总结了一下整个大数据业务的流程 一:数据源 数据的来源 关系型数据库 订单表、用户表、地址信息 日志文件 用户行为数据 打开了哪...

介绍
最近在接触大数据相关的知识,大概总结了一下整个大数据业务的流程
 
一:数据源
数据的来源
关系型数据库
 订单表、用户表、地址信息
 
日志文件
用户行为数据
 
打开了哪些页面(网页、App),点击了页面上哪些按钮
 
二:数据采集
常用数据采集导入框架
sqool:用于RDBMS与HDFS之间数据导入与导出
flume:采集日志文件数据,动态采集日志文件,数据流
              flume采集到的数据,一份给HDFS,用于做离线分析;一份给Kafka,实时处理
 
 kafka:主要用于实时的数据流处理
 flume与kafka都有类似消息队列的机制,来缓存大数据环境处理不了的数据
 
三:数据存储
常用数据存储框架
HDFS
Hive
HBase
四:数据清洗
即对数据进行过滤,得到具有一定格式的数据源
 
常用框架(工具)
MapReduce、Hive(ETL)、SparkCore
五:数据分析
对经过数据清洗后的数据进行分析,得到某个指标
 
常用框架(工具)
MapReduce、Hive、SparkSQL、impala
六:数据展示
即将数据分析后的结果展示出来,也可以理解为数据的可视化
 
以图或者表具体的形式展示出来
 
常用工具
Javaweb、帆软、hcharts、echarts
 

1
产品试用

粤公网安备 44030502004850号