大数据学习,学大数据先学什么

很多初学者在学习大数据之前往往都有这样一个疑问,那就是学习多久才能掌握相关的技术,达到就业岗位的要求?

要想知道类似问题的答案需要从多个角度来分析,大数据本身涉及到一系列围绕数据的相关技术,这些技术涉及到大数据平台技术、大数据开发技术、数据分析技术、数据呈现技术、数据采集整理技术等等,这些技术既有区别又有联系,相关技术也都有相对应的岗位,所以作为学习者来说应该选择一个细分方向来学习,而不能简单的说学习大数据。

目前大数据的相关岗位以大数据开发、大数据分析、大数据运维居多,所以就从这几个方面来简单的分析一下需要学习哪些知识,以及一个大致的学习周期。

大数据开发是基于大数据平台进行的功能性开发,学习可以分为三个阶段,分别是编程语言、大数据平台和案例开发。编程语言往往以学习Java、Python和Scala居多,通常情况下编程语言的学习是比较耗费时间的,按照历史经验来看,对于没有编程语言的人来说,入门编程语言大概需要3个月左右的时间。看一下同一个操作采用Python、Scala和Java编写的代码实现过程:大数据学习,学大数据先学什么图1大数据学习,学大数据先学什么图2大数据学习,学大数据先学什么图3

接着要学习一下如何搭建基础的大数据平台,这部分知识对于大数据开发人员来说并不是重点,但是基本的搭建过程是应该掌握的,搭建Hadoop平台和Spark平台往往也需要大量的实验,另外还需要掌握大数据平台的体系结构和功能组成,这部分的学习时间大概需要2个月左右。接着就是在大数据平台下进行项目开发了,这部分学习时间可长可短,一般完成一个综合性的大数据开发实验也需要1个月左右的时间,这样算下来,入门大数据开发大概需要6个月左右的时间。

大数据分析需要学习的内容与大数据开发有一定的区别,大数据分析需要学习各种分析算法以及各种数据分析软件的使用。另外,目前采用机器学习的方式进行大数据分析也是一种比较流行的做法。学习大数据分析也需要了解大数据平台的基础知识、算法知识、机器学习等内容,从学习周期上来说与大数据开发差不多,也需要6个月左右。学习数据分析往往需要具备一定的数学基础,否则需要补学的内容比较多,耗费的时间也比较长。

大数据运维则主要是学习大数据平台的搭建、组件部署、平台测试以及维护等方面的内容,大数据运维需要学习大量的软硬件知识,包括计算机网络知识。总的来说,学习的量也是比较大的,在时间上根据不同的基础可长可短,一般在3到6个月基本上能入门。大数据学习,学大数据先学什么图4

大数据是我的主要研究方向之一,目前我也在带大数据方向的研究生,我会陆续在头条写一些关于大数据方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有大数据方面的问题,也可以咨询我。

谢谢!

大数据发展速度很快,对技术的需求也在不断更新迭代,从第一代的Hadoop为主,到现在的Hadoop、Spark、Storm、Flink百花齐放,一方面是因为需求的变化,另一方面也是技术生态在不断拓展和完善。

学大数据,都学习哪些内容,这就需要结合市场来考量,市场需求什么,那就需要去掌握相应的技术框架。

下面例举通用层面上,大数据一般需要学习和掌握哪些——

1、数据收集层

主要由关系型和非关系型数据收集组件,分布式消息队列构成。

Sqoop/Canal:关系型数据收集和导入工具。

Flume:非关系型数据收集工具,主要是流式日志数据。

Kafka:分布式消息队列,一般作为数据总线使用。

2、数据存储层

主要由分布式文件系统(面向文件存储)和分布式数据库(面向行/列的存储)构成。

HDFS:Hadoop分布式文件系统。

Hbase:构建在HDFS之上的分布式数据库。

Kudu:分布式列数据库,允许用户存储结构化数据。

3、资源管理与服务协调层

YARN:统一资源管理与调度系统,管理集群中的各种资源。

ZooKeeper:基于简化的Paxos协议实现的服务协调系统。

4、计算引擎层

包括批处理(时间要求低,高吞吐)、交互式处理(时间要求比较高,sql查询)、流式实时处理(时间要求非常高、广告投放等)三种引擎。

MapReduce:经典的批处理计算引擎,具体良好的扩展性与容错性。

Spark:通用的DAG计算引擎,允许用户充分利用内存进行快速的数据挖掘和分析。

Impala/Presto:开源的MPP系统,允许用户使用标准的SQL处理存储在Hadoop中的数据。

Storm/Spark Streaming:分布式流式实时计算引擎,能够高效的处理流式数据。

5、数据分析层

为方便用户解决大数据问题而提供的各种数据分析工具。

Hive/Pig/SparkSQL:在计算引擎之上构建的支撑SQL或者脚本语言的分析系统,大大降低了用户进行大数据分析的门槛。

Mahout/MLib:在计算引擎上构建的机器学习库,实现常用的机器学习和数据挖掘算法。

Apache Beam/Cascading:基于各类计算框架而封装的高级API,方便构建复杂的流水线。

原创文章,作者:普尔小编,如若转载,请注明出处:http://www.puerpx.cn/pxwd/2073.html

(0)
上一篇 2022-05-21 下午3:45
下一篇 2022-05-22 上午9:14

相关推荐

  • 怎样求人办事容易成功,怎样求人办事对方不厌烦

    求人办事就是想发挥人脉的杠杆作用,人脉杠杆就是借助家人、亲戚、朋友、同学、老乡、老师、客户/合作方等等关系资源,实现以小博大的操作。 在人脉杠杆的具体操作上有以下几种方法: 第一种…

    培训问答 2023-03-16
  • 南京市哪个中学最好(南京市江浦高级中学)

    儿子初中就读于南师附中树人国际学校(最后一届民办),高中就读于金陵中学,对于您的提问,还是有一点了解的,所以非常高兴解答。 在大多数人眼里,南京前三的中学非南师附中、南外和金陵中学…

    2023-06-21
  • labview培训,自学labview看什么书好

    首先当你想学好Labview的时候,请一定要下定决心,并且要坚持,学习任何事物都需要一个过程。 第一步:找一本好书。个人推荐【Labview宝典】 市面上关于Labview的书籍还…

    2023-01-03
  • 北京表演培训,北京电影学院表演系培训班多少钱

    四个月的短期培训,却走出李成儒、赵宝刚、张光北等影视圈大人物 1980年,北京电影学院成立了一个业余表演培训班,培训的时间只有四个月,走出了太多的影视圈知名人物。这就是鼎鼎大名的北…

    2022-07-11
  • 现代社会礼仪(现代社会礼仪的内涵)

    现代社会礼仪不同于传统礼仪,也就是与新时代相适应的礼仪,别的暂且不说,我就来说说网络上的礼仪吧。①群主要经常地向群员们问候。尤其是逢年过节、群员的生日和其他喜庆日子,不忘向群员们送…

    2023-02-13
  • 杨洋真的帅气吗(杨洋帅气头像)

    杨洋的八字正印格,是品学兼优的文艺兵。 因为当过兵,是军人身份,所以是娱乐圈里当过兵的军人之一。 第一、从小刻苦练习舞蹈,为他出名加分不少,可见机会是留给有准备的人。 第二、虽然名…

    2023-07-09
  • 蛋糕学校,蛋糕烘焙学校去哪里学比较好

    学习蛋糕就到专业的学校。具体的学费还是要来问一下老师,每个人的情况不同,所以选择的专业不同,费用 也是不同的。特别是专业的学校里,学校的老师都是很负责的。学好了就推荐到好的单位就业…

    2022-10-16
  • 牡丹江宁安市怎么样啊(牡丹江宁安位置)

    宁安原名,宁古塔!一说宁古塔大家一定很熟悉,各种清宫剧里面,犯罪的重臣会被发配宁古塔!确实有这个地方! 宁安,原名“宁古塔”。“‘宁古’为满语,汉译为‘六’或‘六个’,‘塔’是满语…

    2023-06-07
  • 乡村爱情之谢广坤骂谢腾飞

    谢广坤的这种教育方式是不对的,这对孩子的个性成长以及自尊心都会造成不良影响。 《乡村爱情12》——这部新作品中增加鲜明的题材也是让人大呼过瘾,作为一直以来自居能人的谢广坤首次迎来儿…

    2022-07-22
  • 客户服务培训,疫情期间培训机构怎么做好客户服务工作

    2020年初爆发的新冠肺炎疫情到现在已经2个月了,在强力防控体系要求下,培训机构是受到冲击最大的行业之一。首先培训机构是一个极其依赖现金流的业态,而且寒假及3、4月份的开学季本就是…

    2022-09-22

发表回复

登录后才能评论