HDFS共24篇
排序
HBase Java API编程实例
本节通过一个具体的编程实例来学习如何使用 HBase Java API 解决实际问题。在本实例中，首先创建一个学生成绩表 scores，用来存储学生各门课程的考试成绩，然后向 scores 添加数据。 表 scores ...
2个月前分布式SQL大数据查询引擎的发展，什么是分布式查询引擎
分布式SQL大数据查询引擎的发展，什么是分布式查询引擎。简而言之，它由各种集成过程组成，可将所有数据加载到一个中央位置，这是即将到来的数据建模和分析用例的唯一事实来源。 虽然在较早的日...
3年前通过系统日志采集大数据的实现方法
通过系统日志采集大数据的实现方法。目前使用最广泛的、用于系统日志采集的海量数据采集工具有 Hadoop 的 Chukwa、ApacheFlumeAFacebook 的 Scribe 和 LinkedIn 的 Kafka 等
3年前大数据预处理架构和方法简介
大数据预处理架构和方法简介。数据预处理主要包括数据清洗（Data Cleaning）、数据集成（Data Integration）、数据转换（Data Transformation）和数据消减（Data Reduction）
3年前大数据处理技术有哪些？大数据处理系统核心技术
大数据处理技术有哪些？大数据处理系统核心技术大数据技术的基本概念进行简单介绍，包括分布式计算、服务器集群和 Google 的 3 个大数据技术。
3年前Hadoop大数据处理框架简介，什么是Hadoop 生态圈？
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。
3年前Hadoop HDFS分布式文件系统简介及特性
Hadoop HDFS分布式文件系统简介及特性。大数据时代，需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力，因此需要将数据集进行分区并存储到若干台独立的计算机中。
3年前HDFS基本原理和设计理念，HDFS 的局限性有哪些
HDFS基本原理和设计理念，HDFS 的局限性有哪些。为了解决存储结点负载不均衡的问题，HDFS 首先把一个文件分割成多个块，然后再把这些文件块存储在不同服务器上。这种方式的优势就是不怕文件太大...
2年前HDFS架构和实现机制简介 HDFS 是什么？
HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节客户端对文件的访问。一个 HDFS 集群还包...
2年前HDFS读取和写入数据简介 HDFS的文件访问机制
HDFS的文件访问机制为流式访问机制，即通过 API 打开文件的某个数据块之后，可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色，且对应的应用场景主要为一次写入、多次读取的场景，因此...
2年前
