• <dd id="wpirm"><center id="wpirm"></center></dd>

      <button id="wpirm"><acronym id="wpirm"></acronym></button>
      <s id="wpirm"><acronym id="wpirm"></acronym></s>

      好程序員-千鋒教育旗下高端IT職業教育品牌

      400-811-9990
      我的賬戶
      好程序員

      專注高端IT職業培訓

      親愛的猿猿,歡迎!

      已有賬號,請

      如尚未注冊?

      【大數據】好程序員大數據學習路線完全分布式集群的搭建

      [復制鏈接]
      1082 0
      葉子老師 發表于 2019-8-20 16:38:10 | 只看該作者 |只看大圖 |閱讀模式 打印 上一主題 下一主題
      好程序員大數據學習路線完全分布式集群的搭建搭建集群前的準備
      ?        1、四臺服務器的時間必須同步
      ?        2、防火墻處于關閉狀態
      ?        2、四臺服務器必須裝好jdk并且配置好環境變量
      一、四臺服務器集群格局
      | 服務器  | NameNode | secondaryNameNode | DataNode |
      | :-----: | :------: | :---------------: | :------: |
      | Hadoop1 |    有    |                   |          |
      | Hadoop2 |          |        有         |    有    |
      | Hadoop3 |          |                   |    有    |
      | Hadoop4 |          |                   |    有    |
      二、配置Hadoop1【以下操作在Hadoop1下執行】
      1.配置hadoop-env.sh中的JDK路徑
      ?        編輯hadoop-env.sh文件:
      ```
      vi 【此處為Hadoop的安裝位置】/etc/hadoop/hadoop-env.sh
      ```
      ?        修改文件中的# The java implementation to use!
      ```
      export JAVA_HOME=【此處為jdk的安裝路徑】
      ```
      2、指定NameNodeipfsimage等文件的存儲位置
      .core-site.xml文件文件
      ```
      vi 【此處為Hadoop的安裝位置】/etc/hadoop/core-site.xml
      ```
      .指定NameNode服務器位置
      在文件中添加以如下代碼:
      1. <font size="3"> <property>

      2.         <name>fs.defaultFS</name>

      3.         <value>hdfs://【此處為Hadoop1的ip】:9000</value>

      4. </property></font>
      復制代碼

      .指定fsimage文件的存儲位置
      在文件中添加以如下代碼:
      1. <font size="3"><property>

      2.         <name>hadoop.tmp.dir</name>

      3.         <value>【指定fsimage文件的存儲位置】</value>

      4. </property></font>
      復制代碼

      例如:
      3.指定副本數量、配置secondaryNameNode的啟動
      .編輯/hdfs-site.xml文件文件
      ```
      vi 【此處為Hadoop的安裝位置】/etc/hadoop//hdfs-site.xml
      ```
      .指定副本的數量
      在文件中添加以如下代碼:
      1. <font size="3"><property>

      2.     <name>dfs.replication</name>

      3.     <value>【此處為副本數量】</value>

      4. </property></font>
      復制代碼

      .配置secondaryNameNode的啟動
      在文件中添加以如下代碼:
      1. <font size="3"><property>

      2.     <name>dfs.namenode.secondary.http-address</name>

      3.     <value>【此處hadoop2的IP】:50090</value>

      4. </property></font>
      復制代碼

      例如:
      3.指定DataNode節點的ip
      編輯slaves文件
      ```
      vi 【此處為Hadoop的安裝位置】/etc/hadoop/slaves
      ```
      在文件中寫入所有DataNode節點的IP
      例如:
      三、分發安裝包給hadoop2hadoop3hadoop4
      分別執行下面三條代碼:
      ```
      scp -r 【此處為Hadoop的安裝位置】 hadoop2:/opt/software/
      ```
      ```
      scp -r 【此處為Hadoop的安裝位置】 hadoop3:/opt/software/
      ```
      ```
      scp -r 【此處為Hadoop的安裝位置】 hadoop4:/opt/software/
      ```
      四、配置每臺服務器的Hadoop環境變量
      1.編輯profile文件
      ```
      vi /etc/profile
      ```
      2.在文件末插入如下兩行
      ```
      export HADOOP_HOME=【此處為Hadoop的安裝位置】
      export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
      ```
      五、格式化nameNode
      Hadoop1上運行如下代碼
      ```
      hadoop namenode -format
      ```
      注意:格式化成功后就不要再格式化了
      格式化成功的標志如下圖:
      六、啟動/停止集群
      全部啟動/停止
      ```
      start-all.sh
      stop-all.sh
      ```
      模塊化開啟/停止

      start-dfs.sh
      stop-dfs.sh

      單個角色啟動/停止

      hadoop-daemo.sh start namenode/datanode/secondarynamenode
      hadoop-daemo.sh stop namenode/datanode/secondarynamenode
      好程序員大數據培訓官網:http://www.jyf24.com/

      精彩內容,一鍵分享給更多人!
      收藏
      收藏0
      轉播
      轉播
      分享
      淘帖0
      支持
      支持0
      反對
      反對0
      回復

      使用道具 舉報

      您需要登錄后才可以回帖

      本版積分規則

      關注我們
      好程序員
      千鋒好程序員

      北京校區(總部):北京市海淀區寶盛北里西區28號中關村智誠科創大廈

      深圳西部硅谷校區:深圳市寶安區寶安大道5010號深圳西部硅谷B座A區605-619

      杭州龍馳智慧谷校區:浙江省杭州市下沙經濟技術開發區元成路199號龍馳智慧谷B座7層

      鄭州校區:鄭州市二七區航海中路60號海為科技園C區10層、12層

      Copyright 2007-2019 北京千鋒互聯科技有限公司 .All Right

      京ICP備12003911號-5 京公安網11010802011455號

      請您保持通訊暢通1對1咨詢馬上開啟

      Pictoa