ວິທີການຕິດຕັ້ງແລະ ກຳ ຫນົດຄ່າ Cloudera Manager ໃນ CentOS / RHEL 7 - ພາກທີ 3

ໃນບົດຂຽນນີ້, ພວກເຮົາໄດ້ອະທິບາຍຂັ້ນຕອນແຕ່ລະຂັ້ນຕອນເພື່ອຕິດຕັ້ງ Cloudera Manager ຕາມການປະຕິບັດອຸດສາຫະ ກຳ. ໃນພາກທີ 2, ພວກເຮົາໄດ້ຜ່ານ Cloudera Pre-requisites ແລ້ວ, ໃຫ້ແນ່ໃຈວ່າເຄື່ອງແມ່ຂ່າຍທັງ ໝົດ ຖືກກະກຽມຢ່າງສົມບູນ.

  • ການປະຕິບັດທີ່ດີທີ່ສຸດ ສຳ ລັບການ ນຳ ໃຊ້ Server Hadoop ໃນ CentOS/RHEL 7 - ພາກທີ 1
  • ການຕັ້ງຄ່າ Hadoop ກ່ອນຄວາມ ຈຳ ເປັນແລະຄວາມເຂັ້ມແຂງໃນການຮັກສາຄວາມປອດໄພ - ພາກທີ 2

ໃນທີ່ນີ້ພວກເຮົາຈະມີກຸ່ມບ້ານ 5 ກຸ່ມບ່ອນທີ່ແມ່ບົດ 2 ຄົນແລະ ກຳ ມະກອນ 3 ຄົນ. ຂ້ອຍໄດ້ໃຊ້ 5 ຕົວຢ່າງ AWS EC2 ເພື່ອສະແດງຂັ້ນຕອນການຕິດຕັ້ງ. ຂ້ອຍໄດ້ຕັ້ງຊື່ເຄື່ອງແມ່ຂ່າຍເຫລົ່ານັ້ນ 5 ເຄື່ອງດັ່ງລຸ່ມນີ້.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

ຜູ້ຈັດການ Cloudera ແມ່ນເຄື່ອງມືການບໍລິຫານແລະຕິດຕາມກວດກາ ສຳ ລັບ CDH ທັງ ໝົດ. ພວກເຮົາບໍລິຫານປົກກະຕິແລ້ວເອີ້ນມັນວ່າເປັນເຄື່ອງມືຄຸ້ມຄອງ ສຳ ລັບ Cloudera Hadoop. ພວກເຮົາສາມາດ ນຳ ໃຊ້, ຕິດຕາມ, ຄວບຄຸມແລະເຮັດການປ່ຽນແປງການຕັ້ງຄ່າດ້ວຍການ ນຳ ໃຊ້ເຄື່ອງມືນີ້. ນີ້ແມ່ນສິ່ງທີ່ ຈຳ ເປັນຫຼາຍໃນການຄຸ້ມຄອງກຸ່ມບ້ານທັງ ໝົດ.

ຂ້າງລຸ່ມນີ້ແມ່ນການ ນຳ ໃຊ້ທີ່ ສຳ ຄັນຂອງ Cloudera Manager.

    ໃຊ້ແລະປັບກຸ່ມກຸ່ມ Hadoop ໂດຍອັດຕະໂນມັດ.
  • ຕິດຕາມສຸຂະພາບຂອງກຸ່ມບ້ານ
  • ຕັ້ງຄ່າການແຈ້ງເຕືອນ
  • ການແກ້ໄຂບັນຫາ
  • ລາຍງານ
  • ເຮັດບົດລາຍງານການ ນຳ ໃຊ້ Cluster
  • ຕັ້ງຄ່າຊັບພະຍາກອນແບບເຄື່ອນໄຫວ

ຂັ້ນຕອນທີ 1: ການຕິດຕັ້ງ Apache Web Server ໃນ CentOS

ພວກເຮົາ ກຳ ລັງຈະ ນຳ ໃຊ້ master1 ເປັນເຄື່ອງຈັກຊອກຫາເວັບໄຊຕ໌ ສຳ ລັບឃ្លាំង Cloudera. ນອກຈາກນີ້, Cloudera Manager ແມ່ນ WebUI, ດັ່ງນັ້ນພວກເຮົາຕ້ອງມີການຕິດຕັ້ງ Apache. ປະຕິບັດຕາມຂັ້ນຕອນຂ້າງລຸ່ມນີ້ເພື່ອຕິດຕັ້ງເຄື່ອງແມ່ຂ່າຍເວັບໄຊຕ໌ apache.

# yum -y install httpd

ເມື່ອຕິດຕັ້ງ httpd ແລ້ວ, ເລີ່ມຕົ້ນແລະເປີດໃຊ້ເພື່ອມັນຈະເລີ່ມຕົ້ນໃສ່ເກີບ.

# systemctl start httpd
# systemctl enable httpd

ຫຼັງຈາກເລີ່ມຕົ້ນ httpd, ຮັບປະກັນສະຖານະພາບ.

# systemctl status httpd

ຫຼັງຈາກເລີ່ມຕົ້ນ httpd, ເປີດ browser ໃນລະບົບທ້ອງຖິ່ນຂອງທ່ານແລະວາງທີ່ຢູ່ IP ຂອງ master1 ໃນແຖບຄົ້ນຫາ, ທ່ານຄວນຮັບເອົາ ໜ້າ ທົດສອບນີ້ເພື່ອໃຫ້ແນ່ໃຈວ່າ httpd ເຮັດວຽກໄດ້ດີ.

ຂັ້ນຕອນທີ 2: ຕັ້ງຄ່າ DNS ທ້ອງຖິ່ນເພື່ອແກ້ໄຂ IP ແລະ Hostname

ພວກເຮົາຕ້ອງມີເຄື່ອງແມ່ຂ່າຍ DNS ຫຼືຕັ້ງຄ່າ/etc/hosts ເພື່ອແກ້ໄຂ IP ແລະ hostname. ນີ້ພວກເຮົາ ກຳ ລັງຕັ້ງຄ່າ/etc/hosts, ແຕ່ໃນເວລາຈິງ, server ທີ່ອຸທິດຕົນຈະຢູ່ທີ່ນັ້ນ ສຳ ລັບສະພາບແວດລ້ອມການຜະລິດ.

ປະຕິບັດຕາມຂັ້ນຕອນຂ້າງລຸ່ມນີ້ເພື່ອເຮັດການເຂົ້າ ສຳ ລັບທຸກເຊີບເວີຂອງທ່ານໃນ/etc/hosts.

# vi /etc/hosts

ສິ່ງນີ້ຄວນຖືກ ກຳ ນົດໃນທຸກເຊີບເວີ.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

ຂັ້ນຕອນທີ 3: ຕັ້ງຄ່າການເຂົ້າລະຫັດແບບບໍ່ມີລະຫັດ SSH

ຜູ້ຈັດການ Cloudera ກຳ ລັງຕິດຕັ້ງຢູ່ master1 ໃນການສາທິດນີ້. ພວກເຮົາ ຈຳ ເປັນຕ້ອງ ກຳ ຫນົດຄ່າລະຫັດຜ່ານ - ຫນ້ອຍ ssh ຈາກ master1 ໄປຫາຂໍ້ມູນອື່ນໆ. ເນື່ອງຈາກວ່າ Cloudera Manager ຈະໃຊ້ ssh ເພື່ອສື່ສານທຸກໆ node ອື່ນໆເພື່ອຕິດຕັ້ງແພກເກດ.

ປະຕິບັດຕາມຂັ້ນຕອນຂ້າງລຸ່ມນີ້ເພື່ອ ກຳ ນົດຄ່າລະຫັດຜ່ານ - ssh ຈາກ master1 ໄປຍັງເຄື່ອງແມ່ຂ່າຍທີ່ຍັງເຫຼືອ ພວກເຮົາຈະມີຜູ້ໃຊ້ 'tecmint' ເພື່ອ ດຳ ເນີນການຕໍ່ໄປ.

ສ້າງຜູ້ໃຊ້ 'tecmint' ທັງ ໝົດ 4 ເຊີບເວີໂດຍໃຊ້ ຄຳ ສັ່ງ useradd ດັ່ງທີ່ສະແດງໄວ້.

# useradd -m tecmint

ເພື່ອໃຫ້ສິດທິພິເສດຮາກແກ່ຜູ້ໃຊ້ ‘tecmint’, ຕື່ມສາຍທາງລຸ່ມເຂົ້າໄປໃນເອກະສານ/etc/sudoers. ທ່ານສາມາດເພີ່ມສາຍນີ້ພາຍໃຕ້ຮາກຕາມທີ່ບອກໄວ້ໃນ ໜ້າ ຈໍ.

tecmint   ALL=(ALL)    ALL

ປ່ຽນເປັນຜູ້ໃຊ້ 'tecmint' ແລະສ້າງ ssh key ໃນ master1 ໂດຍໃຊ້ ຄຳ ສັ່ງລຸ່ມນີ້.

# sudo su tecmint
$ ssh-keygen

ຕອນນີ້ຄັດລອກຄີທີ່ຖືກສ້າງຂື້ນມາໃຫ້ທັງ 4 server ໂດຍການໃຊ້ ຄຳ ສັ່ງ ssh-copy-id ດັ່ງທີ່ສະແດງໄວ້.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 

ຕອນນີ້ທ່ານຄວນຈະສາມາດ ssh ຈາກ master1 ໄປຍັງເຄື່ອງແມ່ຂ່າຍທີ່ເຫຼືອທັງ ໝົດ ໂດຍບໍ່ຕ້ອງມີລະຫັດຜ່ານຕາມທີ່ສະແດງ.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

ຂັ້ນຕອນທີ 4: ການຕິດຕັ້ງແລະ ກຳ ຫນົດຄ່າ Cloudera Manager

ພວກເຮົາສາມາດ ນຳ ໃຊ້ຫ້ອງຂາຍຂອງຜູ້ຂາຍ (Cloudera) ເພື່ອຕິດຕັ້ງທຸກຊຸດໂດຍໃຊ້ເຄື່ອງມືຄຸ້ມຄອງຊຸດໃນ RHEL/CentOS. ໃນເວລາທີ່ແທ້ຈິງ, ການສ້າງຫໍສະມຸດຂອງພວກເຮົາແມ່ນການປະຕິບັດທີ່ດີທີ່ສຸດເພາະວ່າພວກເຮົາອາດຈະບໍ່ມີການເຂົ້າເຖິງອິນເຕີເນັດໃນເຄື່ອງແມ່ຂ່າຍການຜະລິດ.

ນີ້ພວກເຮົາ ກຳ ລັງຈະຕິດຕັ້ງ Cloudera Manager 6.3.1 ລຸ້ນປ່ອຍ. ເນື່ອງຈາກວ່າພວກເຮົາຈະໃຊ້ master1 ເປັນ repo server, ພວກເຮົາ ກຳ ລັງດາວໂຫລດແພັກເກດຢູ່ໃນເສັ້ນທາງທີ່ກ່າວມາຂ້າງລຸ່ມນີ້.

ສ້າງໄດເລກະທໍລີທີ່ກ່າວມາຂ້າງລຸ່ມນີ້ໃນ server master1 .

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

ພວກເຮົາສາມາດໃຊ້ເຄື່ອງມື wget ເພື່ອດາວໂຫລດແພັກເກັດຜ່ານ http. ດັ່ງນັ້ນ, ຕິດຕັ້ງ wget ໂດຍໃຊ້ ຄຳ ສັ່ງຂ້າງລຸ່ມ.

$ sudo yum -y install wget

ຕໍ່ໄປ, ດາວໂຫລດ Cloudera Manager tar file ໂດຍໃຊ້ ຄຳ ສັ່ງ wget ຕໍ່ໄປນີ້.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

ສະກັດເອກະສານ tar ເຂົ້າໄປໃນ/var/www/html/cloudera-repos/cm6, ແລ້ວພວກເຮົາໄດ້ສ້າງ master1 ເປັນ webserver ໂດຍຕິດຕັ້ງ http ແລະພວກເຮົາໄດ້ທົດສອບໃນ browser.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

ຕອນນີ້ກວດພິສູດວ່າທຸກເອກະສານ Cloudera rpm ມີຢູ່ໃນ/var/www/html/cloudera-repos/cm6/RPMS/x86_64.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

ສ້າງແຟ້ມເອກະສານ /etc/yum.repos.d/cloudera-manager.repo ໃນທຸກເຊີບເວີທີ່ຢູ່ໃນກຸ່ມບ້ານທີ່ມີເນື້ອຫາຕໍ່ໄປນີ້, ທີ່ນີ້ master1 (65.0.101.148) ແມ່ນ Web server.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

ຕອນນີ້ຫໍສະມຸດໄດ້ຖືກເພີ່ມແລ້ວ, ໃຫ້ແລ່ນ ຄຳ ສັ່ງຂ້າງລຸ່ມນີ້ເພື່ອເບິ່ງຫໍສະມຸດທີ່ເປີດໃຊ້ງານ.

$ yum repolist

ດໍາເນີນການຄໍາສັ່ງຂ້າງລຸ່ມນີ້ເພື່ອເບິ່ງທຸກຊຸດທີ່ກ່ຽວຂ້ອງກັບ Cloudera ທີ່ມີຢູ່ໃນຫໍໄຕ.

$ yum list available | grep cloudera*

ຕິດຕັ້ງ cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

ດໍາເນີນການຄໍາສັ່ງຂ້າງລຸ່ມນີ້ເພື່ອເບິ່ງທຸກຊຸດ Cloudera ທີ່ຕິດຕັ້ງ.

$ yum list installed | grep cloudera*

ດໍາເນີນການຄໍາສັ່ງຂ້າງລຸ່ມນີ້ເພື່ອເລີ່ມຕົ້ນ cloudera-scm-server-db ເຊິ່ງເປັນຖານຂໍ້ມູນທີ່ຕິດພັນກັບການເກັບຮັກສາ Cloudera Manager ແລະ metadata ການບໍລິການອື່ນໆ.

ໂດຍຄ່າເລີ່ມຕົ້ນ, Cloudera ກຳ ລັງຈະມາກັບ postgre-sql ເຊິ່ງຖືກຝັງຢູ່ໃນ Cloudera Manager. ພວກເຮົາ ກຳ ລັງຕິດຕັ້ງຢູ່ໃນຖານຂໍ້ມູນພາຍນອກທີ່ໃຊ້ເວລາຈິງທີ່ສາມາດ ນຳ ໃຊ້ໄດ້. ມັນສາມາດເປັນ Oracle, MySQL, ຫຼື PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db

ດໍາເນີນການຄໍາສັ່ງຂ້າງລຸ່ມນີ້ເພື່ອກວດເບິ່ງສະຖານະຂອງຖານຂໍ້ມູນ.

$ sudo systemctl status cloudera-scm-server-db

ຕັ້ງຄ່າ db.properties ສຳ ລັບເຄື່ອງແມ່ຂ່າຍ Cloudera Manager.

$ vi /etc/cloudera-scm-server/db.properties

ຕັ້ງຄ່າຄ່າດ້ານລຸ່ມແມ່ນ EMBEDDED ເພື່ອເຮັດໃຫ້ Cloudera Manager ໃຊ້ຖານຂໍ້ມູນທີ່ຝັງຢູ່.

com.cloudera.cmf.db.setupType=EMBEDDED

ດໍາເນີນການຄໍາສັ່ງຂ້າງລຸ່ມນີ້ເພື່ອເລີ່ມຕົ້ນເຄື່ອງແມ່ຂ່າຍ Cloudera Manager.

$ sudo systemctl start cloudera-scm-server

ດໍາເນີນການຄໍາສັ່ງຂ້າງລຸ່ມນີ້ເພື່ອກວດເບິ່ງສະຖານະຂອງເຊີຟເວີ Cloudera Manager.

$ sudo systemctl status cloudera-scm-server

ດໍາເນີນການຄໍາສັ່ງຂ້າງລຸ່ມນີ້ເພື່ອເລີ່ມຕົ້ນແລະກວດເບິ່ງສະຖານະພາບຂອງຕົວແທນ Cloudera Manager.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

ເມື່ອ Cloudera Manager Server ປະສົບຜົນ ສຳ ເລັດແລະເຮັດວຽກໄດ້ດີ, ທ່ານສາມາດເບິ່ງ WebUI (ໜ້າ ເຂົ້າສູ່ລະບົບ) ໃນ browser ໂດຍໃຊ້ທີ່ຢູ່ IP ແລະເບີ port 7180 ເຊິ່ງແມ່ນ ໝາຍ ເລກພອດຂອງ Cloudera Manager.

https://65.0.101.148:7180

ໃນບົດຂຽນນີ້, ພວກເຮົາໄດ້ເຫັນຂັ້ນຕອນແຕ່ລະຂັ້ນຕອນ ສຳ ລັບການຕິດຕັ້ງ Cloudera Manager ໃນ CentOS 7. ພວກເຮົາຈະເຫັນ CDH ແລະການຕິດຕັ້ງບໍລິການອື່ນໆໃນບົດຄວາມຕໍ່ໄປ.