首页
登录 | 注册

大数据入门之Hadoop基础学习

前言

目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解

基础概念

大数据的本质

一、数据的存储:分布式文件系统(分布式存储)
二、数据的计算:分部署计算

基础知识

学习大数据需要具备Java知识基础及Linux知识基础

学习路线

(1)Java基础和Linux基础
(2)Hadoop的学习:体系结构、原理、编程
第一阶段:HDFS、MapReduce、HBase(NoSQL数据库)
第二阶段:数据分析引擎 -> Hive、Pig

 数据采集引擎 -> Sqoop、Flume

第三阶段:HUE:Web管理工具

 ZooKeeper:实现Hadoop的HA
                    Oozie:工作流引擎

(3)Spark的学习

 第一阶段:Scala编程语言
    第二阶段:Spark Core -> 基于内存、数据的计算
    第三阶段:Spark SQL -> 类似于mysql 的sql语句
    第四阶段:Spark Streaming ->进行流式计算:比如:自来水厂

(4)Apache Storm 类似:Spark Streaming ->进行流式计算

NoSQL:Redis基于内存的数据库


原文链接

相关文章

  • .NET基础学习:经典水晶报表设计三则一.经典水晶报表设计三则之"分栏" 借助"多列格式化"功能实现. 1. 启用"多列格式化"功能. (1) 进入"节专家"对 ...
  • 根据TIOBE编程语言排行榜2019年三月份榜单排名,Java语言位居榜首.Java语言以其良好的面向对象设计思想获得了市场和程序员的喜爱.那么你是否想要学习Java语言了,毕竟TIOBE的排名代表着程序语言的未来趋势.针对零基础的初学者, ...
  • 学习Java和其他技术的资源其实非常多,但是我们需要取其精华去其糟粕,选择那些最好的,最适合我们的,同时也要由浅入深,先易后难.基于这样的一个标准,我在这里为大家提供一份Java的学习资源清单. 一:Java入门学习资源 这里主要推荐的是几 ...
  • Java后端学习路线图,你真的只需要这一张!
    前言 今天我只选一张图,仅此一图,足以包罗Java后端技术的知识点.所谓不求最好,但求最全,学习Java后端的同学完全可以参考这张图进行学习路线安排. 闲言少叙,我们还是看看这张图上都包含哪些有价值的信息吧.再次说明,本文只对路线图做一个简 ...
  • Java工程师学习指南 中级篇
    Java工程师学习指南 中级篇 最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好.原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我写的文章都是站在Java后端的全局上进行思考和总结的, ...

2020 unjeep.com webmaster#unjeep.com
12 q. 0.012 s.
京ICP备10005923号