大数据是什么？能做哪些工作？

发布时间:2022-06-17 10:04:51来源：转载

大数据是什么?现在越来越多的人喜欢网上购物，各种APP在网上选择，这些APP每天要面对几万几十万，甚至更多的信息，每个人的信息都要存储，简而言之，大数据就是这些存储的信息。那么，学会了大数据能做哪些工作呢?一起来看看吧。

学会大数据能做哪些工作

1. 大数据开发工程师

主要负责大数据技术开发，如编写离线处理程序、数据采集、数据ETL等。

2. 大数据运维工程师

主要负责公司大数据平台的维护，如管理、监控Hadoop集群、监控运行状态等。

3. 大数据架构师

主要负责公司大数据平台的设想，如技术选择和技术安装。

4. 大数据分析师

结合行业经验，负责公司各业务单元的数据分析，如财务分析、生产分析、销售分析等。

5. 大数据算法工程师

主要负责机器学习相关算法开发，如推荐系统算法开发。

6. 大数据实时计算开发工程师

主要负责公司实时计算系统开发，如实时风控系统Flink开发，基于Spark Streaming的实时指标分析开发。

7. 数据挖掘工程师

主要负责基于大数据平台的数据挖掘、特征提取、挖掘模型选择和评价。例如，用户肖像挖掘类型标签的开发。

8. BI开发工程师

主要工作是搭建公司的商业智能平台，包括各种数据可视化报告的制作，以及仪表盘大屏生产的ETL开发工程师。

负责数据挖掘、数据清理及相关预处理。例如，从文本数据中清除一些非法数据。

9. Hadoop开发工程师

主要负责HDFS，Map Reduce，Hive的开发。例如，Hive可以用来构建数据仓库和编写Map educe程序来预处理数据。

10. Spark开发工程师

主要工作是开发用于大规模数据处理的Spark应用程序。例如，写Spark来处理网站流量数据，形成clickstream数据。

机构简介