大数据共50篇
大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
排序
Spark Streaming简介
Spark Streaming 是 Spark 核心 API 的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。 Spark Streaming 支持从多种数据源获取数据，包括 Kafka、Flume、Twitter、ZeroMQ、Kin...
3个月前NoSQL非关系型数据库简介及与关系数据库的区别
虽然关系型数据库系统很优秀，但是在大数据时代，面对快速增长的数据规模和日渐复杂的数据模型，关系型数据库系统已无法应对很多数据库处理任务。 NoSQL 凭借易扩展、大数据量和高性能及灵活的...
1年前Hadoop MapReduce架构
Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架，目前已经实现了两个版本，MapReduce 1.0 和基于 YARN 结构的 MapReduce 2.0。 尽管 MapReduce 1.0 中存在一些问题，但是整...
3个月前Spark Streaming编程实战（开发实例）
本节介绍如何编写 Spark Streaming 应用程序，由简到难讲解使用几个核心概念来解决实际应用问题。 流数据模拟器 在实例演示中模拟实际情况，需要源源不断地接入流数据，为了在演示过程中更接近...
1个月前Spark DStream相关操作
与 RDD 类似，DStream 也提供了自己的一系列操作方法，这些操作可以分成 3 类：普通的转换操作、窗口转换操作和输出操作。 普通的转换操作 普通的转换操作如表 1 所示 表 1 普通的转换操作 Suo ...
1个月前Spark Streaming的系统架构
本节首先分析传统流处理系统架构存在的问题，然后介绍 Spark Streaming 的系统架构及其工作原理和优势。 传统流处理系统架构 流处理架构的分布式流处理管道执行方式是，首先用数据采集系统接收...
3个月前HBase Shell常用命令和基本操作（附带实例）
HBase 为用户提供了一个非常方便的命令行使用方式——HBase Shell。 HBase Shell 提供了大多数的 HBase 命令，通过 HBase Shell，用户可以方便地创建、删除及修改表，还可以向表中添加数据，列...
4个月前HBase常用Java API
本节介绍与 HBase 数据存储管理相关的 Java API（基于 HBase 版本 1.2.3）。 HBase 的常用Java API HBase 主要包括 5 大类操作：HBase 的配置、HBase 表的管理、列族的管理、列的管理、数据操作...
3个月前数据挖掘是什么？
什么是数据挖掘 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取出蕴涵在其中的，人们事先不知道的，但是具有潜在有用性的信息和知识的过程。 用来进行数据挖掘的数据...
1个月前HDFS两种操作方式：命令行和Java API
HDFS 文件操作有两种方式：一种是命令行方式，Hadoop 提供了一套与 Linux 文件命令类似的命令行工具；另一种是 Java API，即利用 Hadoop 的 Java 库，采用编程的方式操作 HDFS 的文件。 本节将...
1年前
