大数据处理共8篇
排序
Spark RDD是什么？
Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本节...
2个月前Spark是什么？Spark和Hadoop的区别
Spark 是加州大学伯克利分校 AMP（Algorithms，Machines，People）实验室开发的通用内存并行计算框架。 Spark 在 2013 年 6 月进入 Apache 成为孵化项目，8 个月后成为 Apache 顶级项目。 Spark...
2个月前Hadoop MapReduce简介
本节首先简单介绍大数据批处理概念，然后介绍典型的批处理模式 MapReduce，最后对 Map 函数和 Reduce 函数进行描述。 批处理模式 批处理模式是一种最早进行大规模数据处理的模式。批处理主要操...
2个月前大数据处理技术有哪些？大数据处理系统核心技术
大数据处理技术有哪些？大数据处理系统核心技术大数据技术的基本概念进行简单介绍，包括分布式计算、服务器集群和 Google 的 3 个大数据技术。
3年前数据在内存中的存储机制（二进制形式存储）
数据在内存中的存储机制（二进制形式存储）。计算机要处理的信息是多种多样的，如数字、文字、符号、图形、音频、视频等，这些信息在人们的眼里是不同的
3年前大数据开发涉及到的关键技术及开发流程有哪些？
大数据开发涉及到的关键技术及开发流程有哪些？大数据本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预...
3年前大数据处理的基本流程：数据抽取与集成+数据分析+数据解释
大数据处理的基本流程：数据抽取与集成+数据分析+数据解释。整个大数据的处理流程可以定义为，在合适工具的辅助下，对广泛异构的数据源进行抽取和集成，将结果按照一定的标准进行统一存储
3年前Google的三种大数据处理系统GFS、MapReduce和BigTable解析
Google的三种大数据处理系统GFS、MapReduce和BigTable解析。Google 在搜索引擎上所获得的巨大成功，很大程度上是由于采用了先进的大数据管理和处理技术。
3年前
