ວິທີການຕິດຕັ້ງແລະການຕັ້ງຄ່າ Apache Hadoop ເທິງ Node ດຽວໃນ CentOS 7


Apache Hadoop ແມ່ນໂຄງສ້າງ Open Source ທີ່ສ້າງຂຶ້ນ ສຳ ລັບແຈກເກັບຂໍ້ມູນ Big Data ແລະແຈກຢາຍຂໍ້ມູນທົ່ວກຸ່ມຄອມພິວເຕີ. ໂຄງການແມ່ນອີງໃສ່ອົງປະກອບດັ່ງຕໍ່ໄປນີ້:

<

  • Hadoop Common - ມັນປະກອບມີຫໍສະ ໝຸດ Java ແລະເຄື່ອງໃຊ້ຕ່າງໆທີ່ ຈຳ ເປັນໂດຍໂມດູນ Hadoop ອື່ນໆ.
  • HDFS - ລະບົບເອກະສານແຈກຢາຍ Hadoop - ລະບົບແຟ້ມເອກະສານທີ່ສາມາດປັບຂະ ໜາດ ໄດ້ທີ່ Java ແຈກຢາຍຜ່ານຫຼາຍສາຍ.
  • MapReduce - ກອບ YARN ສຳ ລັບການປະມວນຜົນຂໍ້ມູນໃຫຍ່ຂະ ໜານ.
  • Hadoop YARN: ກອບວຽກ ສຳ ລັບການຄຸ້ມຄອງຊັບພະຍາກອນກຸ່ມບ້ານ.
  • ບົດຂຽນນີ້ຈະແນະ ນຳ ທ່ານກ່ຽວກັບວິທີທີ່ທ່ານສາມາດຕິດຕັ້ງ Apache Hadoop ໃນກຸ່ມ node ດຽວໃນ CentOS 7 (ຍັງເຮັດວຽກ ສຳ ລັບ RHEL 7 ແລະ Fedora 23+). ການຕັ້ງຄ່າແບບນີ້ຍັງຖືກອ້າງອີງເປັນແບບ Hadoop Pseudo-Distributed Mode.

    ຂັ້ນຕອນທີ 1: ຕິດຕັ້ງ Java ໃນ CentOS 7

    1. ກ່ອນທີ່ຈະ ດຳ ເນີນການຕິດຕັ້ງ Java, ທຳ ອິດເຂົ້າສູ່ລະບົບກັບຜູ້ໃຊ້ຮາກຫລືຜູ້ໃຊ້ທີ່ມີສິດທິພິເສດຕັ້ງຄ່າໂຮດເຄື່ອງຂອງທ່ານດ້ວຍ ຄຳ ສັ່ງຕໍ່ໄປນີ້.

    # hostnamectl set-hostname master
    

    ນອກຈາກນີ້, ຕື່ມບັນທຶກ ໃໝ່ ໃນແຟ້ມໂຮດກັບ FQDN ເຄື່ອງຂອງທ່ານເອງເພື່ອຊີ້ໄປທີ່ IP Address ຂອງລະບົບຂອງທ່ານ.

    # vi /etc/hosts
    

    ຕື່ມໃສ່ເສັ້ນທາງລຸ່ມນີ້:

    192.168.1.41 master.hadoop.lan
    

    ທົດແທນການບັນທຶກຊື່ໂຮດແລະ FQDN ຂ້າງເທິງດ້ວຍການຕັ້ງຄ່າຂອງທ່ານເອງ.

    2. ຕໍ່ໄປ, ເຂົ້າໄປທີ່ ໜ້າ Oracle Java download ແລະຈັບເອົາ Java SE Development Development 8 ລຸ້ນລ້າສຸດໃນລະບົບຂອງທ່ານໂດຍການຊ່ວຍບອກ ຄຳ ສັ່ງ curl:

    # curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
    

    3. ຫຼັງຈາກການດາວໂຫຼດໄບນາໄບນາຈົບລົງ, ຕິດຕັ້ງຊຸດໂດຍອອກ ຄຳ ສັ່ງຂ້າງລຸ່ມນີ້:

    # rpm -Uvh jdk-8u92-linux-x64.rpm
    

    ຂັ້ນຕອນທີ 2: ຕິດຕັ້ງ Hadoop Framework ໃນ CentOS 7

    4. ຕໍ່ໄປ, ສ້າງບັນຊີຜູ້ໃຊ້ ໃໝ່ ໃນລະບົບຂອງທ່ານໂດຍບໍ່ຕ້ອງໃຊ້ຮາກທີ່ເຮົາຈະໃຊ້ມັນ ສຳ ລັບເສັ້ນທາງຕິດຕັ້ງ Hadoop ແລະສະພາບແວດລ້ອມການເຮັດວຽກ. ບັນຊີລາຍຊື່ບ້ານ ໃໝ່ ຈະຢູ່ໃນລະບົບ /opt/hadoop .

    # useradd -d /opt/hadoop hadoop
    # passwd hadoop
    

    5. ໃນຂັ້ນຕອນຕໍ່ໄປຢ້ຽມຢາມຫນ້າ Apache Hadoop ເພື່ອທີ່ຈະໄດ້ຮັບການເຊື່ອມຕໍ່ ສຳ ລັບລຸ້ນທີ່ລ້າສຸດແລະດາວໂຫລດເອກະສານເກັບໄວ້ໃນລະບົບຂອງທ່ານ.

    # curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 
    

    6. ສະກັດ ສຳ ເນົາເນື້ອໃນຂອງບ່ອນເກັບຂໍ້ມູນໃສ່ບ່ອນເກັບມ້ຽນບັນຊີຂອງເຮືອນ. ນອກຈາກນີ້, ໃຫ້ແນ່ໃຈວ່າທ່ານປ່ຽນສິດອະນຸຍາດຂອງເອກະສານທີ່ຖືກຄັດລອກໄປຕາມນັ້ນ.

    #  tar xfz hadoop-2.7.2.tar.gz
    # cp -rf hadoop-2.7.2/* /opt/hadoop/
    # chown -R hadoop:hadoop /opt/hadoop/
    

    7. ຕໍ່ໄປ, ເຂົ້າສູ່ລະບົບກັບຜູ້ໃຊ້ hadoop ແລະຕັ້ງຄ່າ Hadoop ແລະ Java Environment Variables ໃນລະບົບຂອງທ່ານໂດຍການດັດແກ້ເອກະສານ .bash_profile .

    # su - hadoop
    $ vi .bash_profile
    

    ຕິດຄັດສາຍຕໍ່ໄປນີ້ຢູ່ທ້າຍເອກະສານ:

    ## JAVA env variables
    export JAVA_HOME=/usr/java/default
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
    
    ## HADOOP env variables
    export HADOOP_HOME=/opt/hadoop
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_YARN_HOME=$HADOOP_HOME
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    

    8. ດຽວນີ້ເລີ່ມຕົ້ນຕົວແປສະພາບແວດລ້ອມແລະກວດກາສະຖານະພາບຂອງພວກເຂົາໂດຍການອອກ ຄຳ ສັ່ງຂ້າງລຸ່ມນີ້:

    $ source .bash_profile
    $ echo $HADOOP_HOME
    $ echo $JAVA_HOME
    

    9. ສຸດທ້າຍ, ຕັ້ງຄ່າ ssh key authentication ສຳ ລັບບັນຊີ hadoop ໂດຍການເຮັດ ຄຳ ສັ່ງດ້ານລຸ່ມ (ທົດແທນຊື່ໂຮດຫລື FQDN ຕໍ່ ຄຳ ສັ່ງ ssh-copy-id ຕາມຄວາມ ເໝາະ ສົມ).

    ນອກຈາກນີ້, ຝາກປະໂຫຍກ ຄຳ ສັບໄວ້ໃນບ່ອນຫວ່າງເພື່ອເຂົ້າສູ່ລະບົບໂດຍອັດຕະໂນມັດຜ່ານ ssh.

    $ ssh-keygen -t rsa
    $ ssh-copy-id master.hadoop.lan