本节首先分析传统流处理系统架构存在的问题，然后介绍 Spark Streaming 的系统架构及其工作原理和优势。 传统流处理系统架构 流处理架构的分布式流处理管道执行方式是，首先用数据采集系统接收...

本节将介绍如何实际动手进行 RDD 的转换与操作，以及如何编写、编译、打包和运行 Spark 应用程序。 启动 Spark Shell Spark 的交互式脚本是一种学习 API 的简单途径，也是分析数据集交互的有力...

本节将对 Hadoop MapReduce 的工作机制进行介绍，主要从 MapReduce 的作业执行流程和 Shuffle 过程方面进行阐述。通过加深对 MapReduce 工作机制的了解，可以使程序开发者更合理地使用 MapReduc...

单词计数是最简单也是最能体现 MapReduce 思想的程序之一，可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述...

大数据预处理之数据消减。我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间，这时就需要我们的数据消减技术了。

大数据预处理之数据转换的注意事项。数据转换就是将数据进行转换或归并，从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。

大数据采集方法，大数据采集技术概述。大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。

数据库最终会将数据保存到磁盘中，而 Redis 使用的是内存，内存的速度比磁盘速度快得多，所以这里将讨论使用 Redis 实现抢红包。 对于使用 Redis 实现抢红包，首先需要知道的是 Redis 的功能不...

使用流水线（pipelined）提高Redis的命令性能。教程前几节讨论了 Redis 的事务的各类问题，在事务中 Redis 提供了队列，这是一个可以批量执行任务的队列，这样性能就比较高

Redis集合数据结构和常用命令。edis 的集合不是一个线性结构，而是一个哈希表结构，它的内部会根据 hash 分子来存储和查找数据