作业调度器是hadoop核心组件。对于目前的Hadoop任务调度，分配任务是一个“拉”的过程，即每一个TaskTracker节点主动向JobTracker节点...

技术分析 |大数据 2023-07-08 阅读(493)

一、前奏 Hadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce...

技术分析 |大数据 2023-07-06 阅读(481)

大数据技术与实践总结 大数据概述 大数据的定义 大数据一词由英文“big data”翻译而来，是最近几年兴起的概念，目前还没有一个统一的定义。相比于过去的“信息...

业务场景 |大数据 2023-01-07 阅读(568)

四、空间大数据的存储 文档 集合 数据库 集合就是一组文档。 集合是无模式的。 多个文档组成集合 多个集合数据库。 它包含多个键/值对 文档中的键/值对是...

业务场景 |大数据 2022-08-10 阅读(633)

本教程介绍大数据课程实验案例“淘宝双11数据分析与预测”中将本地数据集上传到数据仓库Hive的工作。 所需知识储备 Linux系统基本命令、Hadoop项目结构...

技术分析 |大数据 2022-04-10 阅读(706)

说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西。 在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不...

业务场景 |大数据 2022-03-18 阅读(611)

第1章 大数据概述 第1章 大数据概述 1、对“数据处理阶段”描述不正确的是（ ）。 A. 人工管理阶段 B. 文件管理阶段 C. 文本管理阶段 E. 数据库系...

技术分析 |大数据 2022-01-21 阅读(1160)

大数据技术都包括哪些，如何学习大数据技术。首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。 很多初学者，对大数据...

技术分析 |大数据 2021-11-27 阅读(731)

参考内容： 【知乎】深入浅出大数据：到底什么是Hadoop？ 【知乎】五万字 | Hive知识体系保姆级教程​ 大数据入门概念及应用场景 一、入门概念 1.1...

业务场景 |大数据 2021-11-24 阅读(808)

有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需求。 4、其他数据源 比如一些手工录入的数据，只需要提供一个接口或小程...

技术分析 |大数据 2021-11-13 阅读(1081)

什么是大数据 说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有...

业务场景 |大数据 2021-06-28 阅读(777)

什么是大数据 说起大数据，估计大家都觉得只听过概念大数据的应用场景，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公...

业务场景 |大数据 2021-06-26 阅读(771)

本文旨在概述京东在JDK方向上的尝试与探索，以及京东JDK项目背景，基本特性以及未来的工作方向。对于JDK特性的技术讨论，实现细节及效果，将在后续系列文章中深入...

案例精选 |大数据 2021-02-09 阅读(1005)

上一篇文章我们总结了10个大数据面试入门级问题淘宝大数据应用案例，大家是否有收获，如果还没有看的小伙伴，可以直接跳转《干货|50个大数据面试问题及答案第一篇：1...

案例精选 |大数据 2021-02-07 阅读(984)

大数据时代才刚刚开始。随着越来越多的公司倾向于大数据运营，人才需求达到历史最高水平。这对你意味着什么？如果您想在任何大数据岗位上工作，它只能转化为更好的机会。您...

案例精选 |大数据 2021-02-06 阅读(916)

高校在日常的教学和管理中积累了大量的历史数据，如何挖掘数据背后的重要信息，并运用于学校的日常管理和教学工作是每个高校都需要考虑的问题。本文以上海公安高等专科学校...

案例精选 |大数据 2021-02-03 阅读(868)