MapReduce执行流程和Shuffle过程

MapReduce执行流程和Shuffle过程-华尔子博-奥夏网
本节将对 Hadoop MapReduce 的工作机制进行介绍,主要从 MapReduce 的作业执行流程和 Shuffle 过程方面进行阐述。通过加深对 MapReduce 工作机制的了解,可以使程序开发者更合理地使用 MapReduc...
8个月前
0395

MapReduce实例分析:单词计数

MapReduce实例分析:单词计数-华尔子博-奥夏网
单词计数是最简单也是最能体现 MapReduce 思想的程序之一,可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述...
8个月前
03911

大数据预处理之数据消减

大数据预处理之数据消减-华尔子博-奥夏网
大数据预处理之数据消减。我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间,这时就需要我们的数据消减技术了。
4年前
01550

大数据预处理之数据转换的注意事项

大数据预处理之数据转换的注意事项-华尔子博-奥夏网
大数据预处理之数据转换的注意事项。数据转换就是将数据进行转换或归并,从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。
4年前
01640

大数据采集方法,大数据采集技术概述

大数据采集方法,大数据采集技术概述-华尔子博-奥夏网
大数据采集方法,大数据采集技术概述。大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。
4年前
02750

使用Redis和Lua的原子性实现抢红包功能

使用Redis和Lua的原子性实现抢红包功能-华尔子博-奥夏网
数据库最终会将数据保存到磁盘中,而 Redis 使用的是内存,内存的速度比磁盘速度快得多,所以这里将讨论使用 Redis 实现抢红包。 对于使用 Redis 实现抢红包,首先需要知道的是 Redis 的功能不...
8个月前
05713

使用流水线(pipelined)提高Redis的命令性能

使用流水线(pipelined)提高Redis的命令性能-华尔子博-奥夏网
使用流水线(pipelined)提高Redis的命令性能。教程前几节讨论了 Redis 的事务的各类问题,在事务中 Redis 提供了队列,这是一个可以批量执行任务的队列,这样性能就比较高
4年前
01070

Redis集合数据结构和常用命令

Redis集合数据结构和常用命令-华尔子博-奥夏网
Redis集合数据结构和常用命令。edis 的集合不是一个线性结构,而是一个哈希表结构,它的内部会根据 hash 分子来存储和查找数据
4年前
01490

如何在Spring中使用Redis,代码实例

如何在Spring中使用Redis,代码实例-华尔子博-奥夏网
如何在Spring中使用Redis,代码实例。在Java程序中使用Redis在没有封装情况下使用 Java API 需要自己编写规则把 Java 对象和 Redis 的字符串进行相互转换,而在 Spring 中这些问题都可以轻松处...
4年前
01990

MyBatis动态sql之bind标签

MyBatis动态sql之bind标签-华尔子博-奥夏网
在进行模糊查询时,如果使用“${}”拼接字符串,则无法防止 SQL 注入问题。如果使用字符串拼接函数或连接符号,但不同数据库的拼接函数或连接符号不同。 例如 MySQL 的 concat 函数、Oracle 的...
8个月前
0567