ວິທີການຕິດຕັ້ງແລະການຕັ້ງຄ່າ Apache Hadoop ເທິງ Node ດຽວໃນ CentOS 7
Apache Hadoop ແມ່ນໂຄງສ້າງ Open Source ທີ່ສ້າງຂຶ້ນ ສຳ ລັບແຈກເກັບຂໍ້ມູນ Big Data ແລະແຈກຢາຍຂໍ້ມູນທົ່ວກຸ່ມຄອມພິວເຕີ. ໂຄງການແມ່ນອີງໃສ່ອົງປະກອບດັ່ງຕໍ່ໄປນີ້:
<
ບົດຂຽນນີ້ຈະແນະ ນຳ ທ່ານກ່ຽວກັບວິທີທີ່ທ່ານສາມາດຕິດຕັ້ງ Apache Hadoop ໃນກຸ່ມ node ດຽວໃນ CentOS 7 (ຍັງເຮັດວຽກ ສຳ ລັບ RHEL 7 ແລະ Fedora 23+). ການຕັ້ງຄ່າແບບນີ້ຍັງຖືກອ້າງອີງເປັນແບບ Hadoop Pseudo-Distributed Mode.
ຂັ້ນຕອນທີ 1: ຕິດຕັ້ງ Java ໃນ CentOS 7
1. ກ່ອນທີ່ຈະ ດຳ ເນີນການຕິດຕັ້ງ Java, ທຳ ອິດເຂົ້າສູ່ລະບົບກັບຜູ້ໃຊ້ຮາກຫລືຜູ້ໃຊ້ທີ່ມີສິດທິພິເສດຕັ້ງຄ່າໂຮດເຄື່ອງຂອງທ່ານດ້ວຍ ຄຳ ສັ່ງຕໍ່ໄປນີ້.
# hostnamectl set-hostname master
ນອກຈາກນີ້, ຕື່ມບັນທຶກ ໃໝ່ ໃນແຟ້ມໂຮດກັບ FQDN ເຄື່ອງຂອງທ່ານເອງເພື່ອຊີ້ໄປທີ່ IP Address ຂອງລະບົບຂອງທ່ານ.
# vi /etc/hosts
ຕື່ມໃສ່ເສັ້ນທາງລຸ່ມນີ້:
192.168.1.41 master.hadoop.lan
ທົດແທນການບັນທຶກຊື່ໂຮດແລະ FQDN ຂ້າງເທິງດ້ວຍການຕັ້ງຄ່າຂອງທ່ານເອງ.
2. ຕໍ່ໄປ, ເຂົ້າໄປທີ່ ໜ້າ Oracle Java download ແລະຈັບເອົາ Java SE Development Development 8 ລຸ້ນລ້າສຸດໃນລະບົບຂອງທ່ານໂດຍການຊ່ວຍບອກ ຄຳ ສັ່ງ curl:
# curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
3. ຫຼັງຈາກການດາວໂຫຼດໄບນາໄບນາຈົບລົງ, ຕິດຕັ້ງຊຸດໂດຍອອກ ຄຳ ສັ່ງຂ້າງລຸ່ມນີ້:
# rpm -Uvh jdk-8u92-linux-x64.rpm
ຂັ້ນຕອນທີ 2: ຕິດຕັ້ງ Hadoop Framework ໃນ CentOS 7
4. ຕໍ່ໄປ, ສ້າງບັນຊີຜູ້ໃຊ້ ໃໝ່ ໃນລະບົບຂອງທ່ານໂດຍບໍ່ຕ້ອງໃຊ້ຮາກທີ່ເຮົາຈະໃຊ້ມັນ ສຳ ລັບເສັ້ນທາງຕິດຕັ້ງ Hadoop ແລະສະພາບແວດລ້ອມການເຮັດວຽກ. ບັນຊີລາຍຊື່ບ້ານ ໃໝ່ ຈະຢູ່ໃນລະບົບ /opt/hadoop
.
# useradd -d /opt/hadoop hadoop # passwd hadoop
5. ໃນຂັ້ນຕອນຕໍ່ໄປຢ້ຽມຢາມຫນ້າ Apache Hadoop ເພື່ອທີ່ຈະໄດ້ຮັບການເຊື່ອມຕໍ່ ສຳ ລັບລຸ້ນທີ່ລ້າສຸດແລະດາວໂຫລດເອກະສານເກັບໄວ້ໃນລະບົບຂອງທ່ານ.
# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
6. ສະກັດ ສຳ ເນົາເນື້ອໃນຂອງບ່ອນເກັບຂໍ້ມູນໃສ່ບ່ອນເກັບມ້ຽນບັນຊີຂອງເຮືອນ. ນອກຈາກນີ້, ໃຫ້ແນ່ໃຈວ່າທ່ານປ່ຽນສິດອະນຸຍາດຂອງເອກະສານທີ່ຖືກຄັດລອກໄປຕາມນັ້ນ.
# tar xfz hadoop-2.7.2.tar.gz # cp -rf hadoop-2.7.2/* /opt/hadoop/ # chown -R hadoop:hadoop /opt/hadoop/
7. ຕໍ່ໄປ, ເຂົ້າສູ່ລະບົບກັບຜູ້ໃຊ້ hadoop ແລະຕັ້ງຄ່າ Hadoop ແລະ Java Environment Variables ໃນລະບົບຂອງທ່ານໂດຍການດັດແກ້ເອກະສານ .bash_profile
.
# su - hadoop $ vi .bash_profile
ຕິດຄັດສາຍຕໍ່ໄປນີ້ຢູ່ທ້າຍເອກະສານ:
## JAVA env variables export JAVA_HOME=/usr/java/default export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar ## HADOOP env variables export HADOOP_HOME=/opt/hadoop export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_YARN_HOME=$HADOOP_HOME export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
8. ດຽວນີ້ເລີ່ມຕົ້ນຕົວແປສະພາບແວດລ້ອມແລະກວດກາສະຖານະພາບຂອງພວກເຂົາໂດຍການອອກ ຄຳ ສັ່ງຂ້າງລຸ່ມນີ້:
$ source .bash_profile $ echo $HADOOP_HOME $ echo $JAVA_HOME
9. ສຸດທ້າຍ, ຕັ້ງຄ່າ ssh key authentication ສຳ ລັບບັນຊີ hadoop ໂດຍການເຮັດ ຄຳ ສັ່ງດ້ານລຸ່ມ (ທົດແທນຊື່ໂຮດຫລື FQDN ຕໍ່ ຄຳ ສັ່ງ ssh-copy-id
ຕາມຄວາມ ເໝາະ ສົມ).
ນອກຈາກນີ້, ຝາກປະໂຫຍກ ຄຳ ສັບໄວ້ໃນບ່ອນຫວ່າງເພື່ອເຂົ້າສູ່ລະບົບໂດຍອັດຕະໂນມັດຜ່ານ ssh.
$ ssh-keygen -t rsa $ ssh-copy-id master.hadoop.lan