基于三台云服务器搭建Hadoop3.3的分布式集群
1、选择云服务：推荐天翼云，价格亲民，但界面需自找功能；腾讯云和阿里云经验丰富，特别是腾讯云售后服务好；预算充足可选亚马逊云，但需VISA卡。这里不再提供链接，自行决定。SSH工具：FinalShell，国产高效SSH工具，强烈推荐。服务器配置：设置hostname和host，安装Java和Hadoop，JDK8和Hadoop3需从官网下载。
2、建议三台机器使用双系统，并且分配硬盘空间尽量大，因为可能处理1GB的数据时需要5GB的空间。三台机器可以找一台性能比较靠谱的当master，剩下的当slave即可。具体教程可以看看Running Hadoop On Ubuntu Linux （Single-Node Cluster），Running Hadoop On Ubuntu Linux （Multi-Node Cluster）。
3、修改hadoop目录下的conf/hdfs-site.xml文件下dfs.replication属性为3。
4、本文通过在vmware workstation上建立三台虚拟机来搭建hadoop集群环境，其中一台作为namenode，两台作为datanode。
5、Maven是一个项目管理工具，可以通过一小段描述信息来管理项目的构建，报告和文档的项目管理。大数据技术往往运行在Linux环境下，大数据的分布式集群（Hadoop，Spark）都是搭建在多台Linux系统上，对集群的执行命令都是在Linux终端窗口输入...想从事大数据相关工作，需要掌握Linux系统操作方法和相关命令。
hadoop多台机器集群的配置
1、配置java的过程比较简单。而且每台机器的配置都一样，可以只配一台机器，之后scp到其他的机器即可。先在网上下载对应的java压缩包，用tar -xzvf jre***.tar 解压缩到一个目录（我是解压到home目录）。解压之后还需要配置下/etc/profile 文件，是为了系统能够找到你所配置的java。
2、集群部署规划时，Hadoop配置文件分为默认配置和自定义配置两部分。默认配置适用于大部分场景，而自定义配置则允许用户针对特定需求进行调整，修改的文件通常包括core-site.xml， hdfs-site.xml， yarn-site.xml和mapred-site.xml，这些文件存储在$HADOOP_HOME/etc/hadoop目录下。
3、在实际应用中，Hadoop集群的规模可以从几个节点到数千个节点不等。小规模的集群可能只需要几个节点，适用于数据量不大或者对计算性能要求不高的场景。例如，一个用于教学或研究的Hadoop集群，可能只需要3到5个节点就足够了。
4、最好是两个做成HA。6T的数据容量，看你副本数量设置是多少，一般默认为3，那么仅这些就需要18T硬盘，稍微大一点20T吧；这仅仅是HDFS存储，（这里我说的是一个月的，你数据保存几个月，就乘几倍）。
5、服务器配置：设置hostname和host，安装Java和Hadoop，JDK8和Hadoop3需从官网下载。配置SSH免登录：生成秘钥，添加到本地验证，确保SSH服务启动并能远程连接。
如何构建最优化的Hadoop集群
1、找出最优化的结果：根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。除此之外，在工作岗位上，大数据工程师需要基于Hadoop，Spark等构建数据分析平台，进行设计、开发分布式计算业务。负责大数据平台（Hadoop，HBase，Spark等）集群环境的搭建，性能调优和日常维护。
2、Hadoop MapRedue的表达能力有限。所有计算都需要转换成Map和 Reduce两个操作，不能适用于所有场景，对于复杂的数据处理过程难以描述。磁盘I/O开销大。Hadoop MapReduce要求每个步骤间的数据序列化到磁盘，所以I/O成本很高，导致交互分析和迭代算法开销很大，而几乎所有的最优化和机器学习都是迭代的。
3、戴尔Cloudera通过结合专家支持以及交付透明管理控制的软件，允许Hadoop维护人员以高效的方式进行集群资源的精确部署及管理。同时，戴尔Cloudera允许将与现代IT管理相似的业务指标以可支付的成本在生产环境中运行Hadoop集群，达到资源利用最优化。
搭建hadoop集群,常用配置文件是什么,以及配置哪些属性
解压下载的hadoop安装包，并修改配置文件。我的解压目录是（/home/hadoop/hadoop-1），即进入/home/hadoop/文件夹下执行下面的解压缩命令。
集群部署规划时，Hadoop配置文件分为默认配置和自定义配置两部分。默认配置适用于大部分场景，而自定义配置则允许用户针对特定需求进行调整，修改的文件通常包括core-site.xml， hdfs-site.xml， yarn-site.xml和mapred-site.xml，这些文件存储在$HADOOP_HOME/etc/hadoop目录下。
接下来是集群配置阶段：核心配置文件：编辑core-site.xml，配置相应内容。HDFS配置：配置hdfs-site.xml，确保正确设置。YARN配置：编辑yarn-site.xml，同样设置相应的YARN参数。MapReduce配置：mapred-site.xml的配置也必不可少。workers文件中需添加相关节点信息，注意格式要求。
hadoop的配置文件均以XML文件进行配置，它有四个最常见的配置文件，分别为：core-site.xml文件主要用于配置通用属性。hdfs-site.xml文件用于配置Hdfs的属性。mapred-site.xml文件用于配置Mapreduce的属性。yarn-site.xml文件用于配置Yarn的属性。
标签： #hadoop集群搭建详解
