大数据共50篇
大数据(big data),是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

什么是大数据?一分钟带你了解大数据及特性

什么是大数据?一分钟带你了解大数据及特性-华尔子博-奥夏网
什么是大数据?一分钟带你了解大数据及特性
子博兄的头像-华尔子博-奥夏网3年前
12440

Google的三种大数据处理系统GFS、MapReduce和BigTable解析

Google的三种大数据处理系统GFS、MapReduce和BigTable解析-华尔子博-奥夏网
Google的三种大数据处理系统GFS、MapReduce和BigTable解析。Google 在搜索引擎上所获得的巨大成功,很大程度上是由于采用了先进的大数据管理和处理技术。
子博兄的头像-华尔子博-奥夏网3年前
12490

HDFS两种操作方式:命令行和Java API

HDFS两种操作方式:命令行和Java API-华尔子博-奥夏网
HDFS 文件操作有两种方式:一种是命令行方式,Hadoop 提供了一套与 Linux 文件命令类似的命令行工具;另一种是 Java API,即利用 Hadoop 的 Java 库,采用编程的方式操作 HDFS 的文件。 本节将...
王麻子的头像-华尔子博-奥夏网王麻子1年前
06712

NoSQL非关系型数据库简介及与关系数据库的区别

虽然关系型数据库系统很优秀,但是在大数据时代,面对快速增长的数据规模和日渐复杂的数据模型,关系型数据库系统已无法应对很多数据库处理任务。 NoSQL 凭借易扩展、大数据量和高性能及灵活的...
子博兄的头像-华尔子博-奥夏网子博兄1年前
03714

HDFS读取和写入数据简介 HDFS的文件访问机制

HDFS读取和写入数据简介 HDFS的文件访问机制-华尔子博-奥夏网
HDFS的文件访问机制为流式访问机制,即通过 API 打开文件的某个数据块之后,可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色,且对应的应用场景主要为一次写入、多次读取的场景,因此...
子博兄的头像-华尔子博-奥夏网子博兄2年前
014811

HDFS架构和实现机制简介 HDFS 是什么?

HDFS架构和实现机制简介 HDFS 是什么?-华尔子博-奥夏网
HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode,这是一个 Master Server,用来管理文件系统的命名空间,以及调节客户端对文件的访问。一个 HDFS 集群还包...
子博网的头像-华尔子博-奥夏网子博网2年前
05310

HDFS基本原理和设计理念,HDFS 的局限性有哪些

HDFS基本原理和设计理念,HDFS 的局限性有哪些-华尔子博-奥夏网
HDFS基本原理和设计理念,HDFS 的局限性有哪些。为了解决存储结点负载不均衡的问题,HDFS 首先把一个文件分割成多个块,然后再把这些文件块存储在不同服务器上。这种方式的优势就是不怕文件太大...
王麻子的头像-华尔子博-奥夏网王麻子2年前
05150

Hadoop HDFS分布式文件系统简介及特性

Hadoop HDFS分布式文件系统简介及特性-华尔子博-奥夏网
Hadoop HDFS分布式文件系统简介及特性。大数据时代,需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力,因此需要将数据集进行分区并存储到若干台独立的计算机中。
天山雪莲的头像-华尔子博-奥夏网天山雪莲3年前
02530

Hadoop大数据处理框架简介,什么是Hadoop 生态圈?

Hadoop大数据处理框架简介,什么是Hadoop 生态圈?-华尔子博-奥夏网
Hadoop 是一种分析和处理大数据的软件平台,是一个用 Java 语言实现的 Apache 的开源软件框架,在大量计算机组成的集群中实现了对海量数据的分布式计算。
天山雪莲的头像-华尔子博-奥夏网天山雪莲3年前
02030

大数据处理技术有哪些?大数据处理系统核心技术

大数据处理技术有哪些?大数据处理系统核心技术大数据技术的基本概念进行简单介绍,包括分布式计算、服务器集群和 Google 的 3 个大数据技术。
子博兄的头像-华尔子博-奥夏网3年前
01420