Hadoop共26篇 第2页
排序
开源协议是什么？有哪些？如何选择？
开源协议是什么？有哪些？如何选择？开源软件在追求“自由”的同时，不能牺牲程序员的利益，否则将会影响程序员的创造激情，因此世界上现在有 60 多种被开源促进组织
3年前程序员的薪水和发展方向大全 仅作参考
程序员的薪水和发展方向大全。如果你是一名初学者，对编程非常感兴趣，想成为一名合格的程序员，那么这篇文章就是为你写的。
3年前大数据处理技术有哪些？大数据处理系统核心技术
大数据处理技术有哪些？大数据处理系统核心技术大数据技术的基本概念进行简单介绍，包括分布式计算、服务器集群和 Google 的 3 个大数据技术。
3年前Hadoop MapReduce工作流程介绍
MapReduce 就是将输入进行分片，交给不同的 Map 任务进行处理，然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Outpu...
1年前HDFS两种操作方式：命令行和Java API
HDFS 文件操作有两种方式：一种是命令行方式，Hadoop 提供了一套与 Linux 文件命令类似的命令行工具；另一种是 Java API，即利用 Hadoop 的 Java 库，采用编程的方式操作 HDFS 的文件。 本节将...
1年前Hadoop HBase数据库的详解介绍及使用范例
这里我们继续深入详细了解HBase,并通过一个实例使用HBase进行数据操作。 1. HBase数据模型HBase的数据模型主要包含: - Table:对应关系数据库中的表,用于存储类似数据。 - Row:对应表中的行,根据...
1年前ubuntu docker搭建Hadoop集群环境的方法
下面是在Ubuntu上使用Docker搭建Hadoop集群环境的详细方法： 安装Docker和Docker Compose 在Ubuntu上安装Docker和Docker Compose。可以执行以下命令来完成安装： #安装Docker sudo apt-get upda...
1年前MapReduce编程实例：单词计数
本节介绍如何编写基本的 MapReduce 程序实现数据分析。本节代码是基于 Hadoop 2.7.3 开发的。 任务准备 单词计数（WordCount）的任务是对一组输入文档中的单词进行分别计数。假设文件的量比较大...
2个月前Spark MLlib简介
MLlib 是 Spark 的机器学习库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。 MLlib 由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优...
39天前Spark总体架构和运行流程
本节将首先介绍 Spark 的运行架构和基本术语，然后介绍 Spark 运行的基本流程，最后介绍 RDD 的核心理念和运行原理。 Spark 总体架构 Spark 运行架构如图 1 所示，包括集群资源管理器（Cluster ...
2个月前
