ວິທີການຕິດຕັ້ງ CDH ແລະຕັ້ງຄ່າສະຖານທີ່ບໍລິການໃນ CentOS / RHEL 7 - ພາກທີ 4

ໃນບົດຂຽນກ່ອນ ໜ້າ ນີ້, ພວກເຮົາໄດ້ອະທິບາຍກ່ຽວກັບການຕິດຕັ້ງ Cloudera Manager, ໃນບົດຂຽນນີ້, ທ່ານຈະໄດ້ຮຽນຮູ້ວິທີຕິດຕັ້ງແລະ ກຳ ຫນົດຄ່າ CDH (Cloudera Distribution Hadoop) ໃນ RHEL/CentOS 7.

ໃນຂະນະທີ່ຕິດຕັ້ງແຜ່ນ CDH, ພວກເຮົາຕ້ອງຮັບປະກັນ Cloudera ຜູ້ຈັດການແລະຄວາມເຂົ້າກັນໄດ້ຂອງ CDH. ລຸ້ນ Cloudera ມີ 3 ພາກສ່ວນ - . . ສະບັບ ສຳ ຄັນແລະລຸ້ນນ້ອຍ Cloudera Manager ຈະຕ້ອງຄືກັນກັບລຸ້ນ ສຳ ຄັນແລະລຸ້ນນ້ອຍຂອງ CDH.

ຍົກຕົວຢ່າງ, ພວກເຮົາ ກຳ ລັງໃຊ້ Cloudera Manager 6.3.1 ແລະ CDH 6.3.2. ນີ້ 6 ອັນແມ່ນໃຫຍ່ແລະ 3 ແມ່ນລຸ້ນນ້ອຍ. ຕົ້ນຕໍແລະນ້ອຍຕ້ອງຄືກັນເພື່ອຫລີກລ້ຽງບັນຫາທີ່ເຂົ້າກັນໄດ້.

ການປະຕິບັດທີ່ດີທີ່ສຸດ ສຳ ລັບການ ນຳ ໃຊ້ Server Hadoop ໃນ CentOS/RHEL 7 - ພາກທີ 1
ການຕັ້ງຄ່າ Hadoop ກ່ອນຄວາມ ຈຳ ເປັນແລະຄວາມເຂັ້ມແຂງໃນການຮັກສາຄວາມປອດໄພ - ພາກທີ 2
ວິທີການຕິດຕັ້ງແລະ ກຳ ຫນົດຄ່າ Cloudera Manager ໃນ CentOS/RHEL 7 - ພາກທີ 3

ພວກເຮົາຈະເອົາ 2 ຂໍ້ຂ້າງລຸ່ມນີ້ ສຳ ລັບຕິດຕັ້ງ CDH. ພວກເຮົາໄດ້ຕິດຕັ້ງ Cloudera Manager ແລ້ວໃນ master1, ພວກເຮົາຍັງໃຊ້ master1 ເປັນ repo server ຢູ່.

master1.linux-console.net
worker1.linux-console.net

ຂັ້ນຕອນທີ 1: ດາວໂຫລດ CDH Parcels ໃນ Master Server

1. ທຳ ອິດເຊື່ອມຕໍ່ກັບ server1 ຂອງ master1 ແລະດາວໂຫລດໄຟລ໌ CDH Parcels ໃນ/var/www/html/cloudera-repos/cdh. ພວກເຮົາຕ້ອງດາວໂຫລດ 3 ເອກະສານທີ່ກ່າວມາຂ້າງລຸ່ມນີ້ເຊິ່ງຄວນຈະເຂົ້າກັນໄດ້ກັບ RHEL/CentOS 7.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. ກ່ອນທີ່ຈະດາວໂຫລດເອກະສານເຫຼົ່ານີ້, ຕ້ອງຮັບປະກັນສ້າງໄດເລກະທໍລີ cdh ຢູ່ພາຍໃຕ້/var/www/html/cloudera-repos/location.

$ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh

3. ຕໍ່ໄປ, ດາວໂຫລດ 3 ເອກະສານທີ່ກ່າວມາຂ້າງເທິງໂດຍໃຊ້ ຄຳ ສັ່ງ wget ຕໍ່ໄປນີ້.

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json

ຂັ້ນຕອນທີ 2: ຕັ້ງຄ່າ Cloudera Manager Repo ໃນລູກຄ້າ ກຳ ມະກອນ

4. ດຽວນີ້ເຊື່ອມຕໍ່ກັບເຊີບເວີຜູ້ເຮັດວຽກແລະ ສຳ ເນົາເອກະສານ repo (cloudera-manager.repo) ຈາກ repo server (master1) ກັບທຸກ server ທີ່ຍັງເຫຼືອ. ເອກະສານ repo ນີ້ຮັບປະກັນເຄື່ອງແມ່ຂ່າຍທີ່ທຸກຕອນທີ່ຕ້ອງການແລະ RPMs ຈະຖືກດາວໂຫລດຈາກ repo server ໃນຂະນະທີ່ ກຳ ລັງຕິດຕັ້ງຢູ່.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. ເມື່ອ repo ໄດ້ເພີ່ມ, ລາຍຊື່ repositories ທີ່ເປີດໃຊ້ເພື່ອໃຫ້ແນ່ໃຈວ່າ repoudera-manager repo ຖືກເປີດໃຊ້ງານ.

$ yum repolist

ຂັ້ນຕອນທີ 3: ຕິດຕັ້ງ Cloudera Manager Daemons ແລະຕົວແທນກ່ຽວກັບເຄື່ອງແມ່ຂ່າຍຂອງ ກຳ ມະກອນ

6. ດຽວນີ້, ພວກເຮົາ ຈຳ ເປັນຕ້ອງຕິດຕັ້ງ cloudera-manager-daemons ແລະ cloudera-manager-agent ໃນທຸກເຄື່ອງແມ່ຂ່າຍທີ່ເຫຼືອ.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. ຕໍ່ໄປ, ທ່ານ ຈຳ ເປັນຕ້ອງ ກຳ ຫນົດຕົວແທນ Cloudera Manager ເພື່ອລາຍງານ server server Cloudera.

$ sudo vi /etc/cloudera-scm-agent/config.ini

ແທນທີ່ localhost ດ້ວຍ Cloudera Manager IP address ຂອງ server.

8. ເລີ່ມຕົວແທນ Cloudera ຕົວແທນຜູ້ຈັດການແລະກວດສອບສະຖານະພາບ.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

ຂັ້ນຕອນທີ 4: ຕິດຕັ້ງແລະຕັ້ງຄ່າ CDH

ພວກເຮົາມີ parrels CDH ໃນ master1 - repo server. ໃຫ້ແນ່ໃຈວ່າເຄື່ອງແມ່ຂ່າຍທັງ ໝົດ ກຳ ລັງມີເອກະສານ Cloudera Manager repo ໃນ /etc/yum.repos.d/ ຖ້າທ່ານຕິດຕາມການຕິດຕັ້ງແບບອັດຕະໂນມັດໂດຍໃຊ້ Cloudera Manager.

9. ເຂົ້າສູ່ Cloudera Manager ໂດຍໃຊ້ URL ຂ້າງລຸ່ມນີ້ທີ່ port 7180 ແລະໃຊ້ຊື່ຜູ້ໃຊ້ແລະລະຫັດຜ່ານຂອງ Cloudera Manager.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. ເມື່ອທ່ານເຂົ້າສູ່ລະບົບ, ທ່ານຈະຖືກຕ້ອນຮັບດ້ວຍ ໜ້າ ຍິນດີ. ທີ່ນີ້ທ່ານສາມາດຊອກຫາບັນທຶກການປ່ອຍ, ຄຸນລັກສະນະ ໃໝ່ ຂອງຜູ້ຈັດການ Cloudera.

11. ຍອມຮັບໃບອະນຸຍາດແລະ ດຳ ເນີນຕໍ່ໄປ.

12. ເລືອກ Edition. ແບບທົດລອງຖືກເລືອກໂດຍຄ່າເລີ່ມຕົ້ນ, ພວກເຮົາສາມາດ ດຳ ເນີນການຕໍ່ໄປໄດ້.

13. ດຽວນີ້, ເຮັດຕາມຂັ້ນຕອນການຕິດຕັ້ງ Cluster. ສືບຕໍ່ ໜ້າ ຍິນດີຕ້ອນຮັບ.

14. ຕັ້ງຊື່ Cluster ແລະສືບຕໍ່, ພວກເຮົາໄດ້ຕັ້ງຊື່ເປັນ“ tecmint”. ມີ 2 ປະເພດຂອງ Cluster ທີ່ທ່ານສາມາດ ກຳ ນົດໄດ້. ພວກເຮົາ ກຳ ລັງ ດຳ ເນີນການກັບ Cluster ປະ ຈຳ.

Cluster ປົກກະຕິ: ຈະປະກອບມີ nodes, ບ່ອນເກັບຂໍ້ມູນ, ແລະການບໍລິການທີ່ ຈຳ ເປັນອື່ນໆ.
ກຸ່ມ ຄຳ ນວນ: ຈະປະກອບມີແຕ່ຄອມພິວເຕີ້ ຄຳ ນວນເທົ່ານັ້ນ. ບ່ອນເກັບຂໍ້ມູນພາຍນອກສາມາດໃຊ້ ສຳ ລັບເກັບຂໍ້ມູນ.

15. ພວກເຮົາໄດ້ຕິດຕັ້ງຕົວແທນຜູ້ຈັດການ Cloudera ແລ້ວໃນທຸກເຊີບເວີ. ທ່ານສາມາດຊອກຫາເຄື່ອງແມ່ຂ່າຍເຫລົ່ານັ້ນຢູ່ໃນ“ Hosts Hosted Hosts” ທີ່ຢູ່ປະຈຸບັນ. ສຳ ລັບການຕິດຕັ້ງແບບອັດຕະໂນມັດ, ທ່ານຕ້ອງໃສ່ FQDN ຫຼື IP ຂອງເຊີບເວີໃນ“ New Hosts” ຕົວເລືອກແລະຄົ້ນຫາ. ຜູ້ຈັດການ Cloudera ຈະກວດພົບເຈົ້າພາບທີ່ພວກເຮົາຕ້ອງການຕິດຕັ້ງ CDH ໂດຍອັດຕະໂນມັດ.

ທີ່ນີ້ກົດປຸ່ມ "Hosts ທີ່ຖືກຈັດການໃນປະຈຸບັນ", ເລືອກເຈົ້າພາບທັງ ໝົດ ໂດຍເລືອກ 'Hostname' ແລະ ດຳ ເນີນຕໍ່ໄປ.

16. ເລືອກ Repository - ໂດຍໃຊ້ Parcel ແມ່ນວິທີທີ່ແນະ ນຳ. ກົດ 'ຕົວເລືອກເພີ່ມເຕີມ' ເພື່ອ ກຳ ນົດຫໍໄຕ.

17. ກະລຸນາໃສ່ທີ່ຢູ່ URL ຂອງທ້ອງຖິ່ນດັ່ງທີ່ກ່າວມາຂ້າງລຸ່ມນີ້. ຖອດເອົາຫໍສະມຸດສາທາລະນະທີ່ຍັງເຫຼືອທັງ ໝົດ ທີ່ຊີ້ທາງເວັບ (Cloudera Repositories).

ນີ້ແມ່ນ URL ຂອງ local repository CDH ທີ່ພວກເຮົາ ກຳ ລັງມີຢູ່ໃນ master1.

http://104.211.95.96/cloudera-repos/cdh/

18. ເມື່ອ URL ຂອງຫໍໄຕເຂົ້າໄປ, ໜ້າ ນີ້ຈະສະແດງພຽງແຕ່ parcel ທີ່ມີຢູ່ເທົ່ານັ້ນ. ສືບຕໍ່ຂັ້ນຕອນນີ້.

19. ຕອນນີ້ parcel ແມ່ນ ກຳ ລັງຖືກດາວໂຫລດ, ແຈກຢາຍ, ບໍ່ອອກ, ແລະເປີດໃຊ້ໃນທຸກເຊີບເວີທີ່ມີຢູ່.

20. ເມື່ອ CDH Parcels ຖືກເປີດໃຊ້, ກວດກາ Cluster. ບາດກ້າວນີ້ຈະເຮັດການກວດສຸຂະພາບຂອງກຸ່ມບ້ານ. ນີ້ພວກເຮົາ ກຳ ລັງຂ້າມແລະສືບຕໍ່.

ຂັ້ນຕອນທີ 5: ການຕັ້ງຄ່າກຸ່ມ

21. ໃນທີ່ນີ້ພວກເຮົາ ຈຳ ເປັນຕ້ອງເລືອກບໍລິການທີ່ຈະຕິດຕັ້ງຢູ່ Cluster. ການປະສົມພັນບາງຢ່າງຈະມີໃຫ້ໂດຍຄ່າເລີ່ມຕົ້ນ, ພວກເຮົາ ກຳ ລັງໄປກັບບໍລິການລູກຄ້າ.

22. ໃນການບໍລິການລູກຄ້າ, ພວກເຮົາ ກຳ ລັງຕິດຕັ້ງພຽງແຕ່ສ່ວນປະກອບຫຼັກ (HDFS ແລະ YARN) ສຳ ລັບຈຸດປະສົງການສາທິດນີ້.

23. ມອບ ໜ້າ ທີ່ໃຫ້ກັບ server. ພວກເຮົາສາມາດປັບແຕ່ງຕາມຄວາມຕ້ອງການຂອງພວກເຮົາ. ຊອກຫາຕາຕະລາງຂ້າງລຸ່ມນີ້ເຊິ່ງອະທິບາຍກ່ຽວກັບການແຈກຢາຍພາລະບົດບາດທີ່ແນະ ນຳ ສຳ ລັບກຸ່ມນ້ອຍພື້ນຖານທີ່ມີ 5 ຫາ 20 ຂໍ້ທີ່ມີຄວາມພ້ອມສູງ.

24. ເລືອກປະເພດຖານຂໍ້ມູນ, ຊື່ໂຮດ, ຊື່ DB, ຊື່ຜູ້ໃຊ້ແລະລະຫັດຜ່ານ. ດັ່ງທີ່ພວກເຮົາ ກຳ ລັງໃຊ້ Embedded PostgreSQL, ມັນຈະຖືກເລືອກໂດຍຄ່າເລີ່ມຕົ້ນ. ທົດສອບການເຊື່ອມຕໍ່, ມັນຄວນປະສົບຜົນ ສຳ ເລັດ.

25. ໜ້າ ນີ້ຈະສະແດງໃຫ້ເຫັນຕົວ ກຳ ນົດການຕັ້ງຄ່າເລີ່ມຕົ້ນຂອງ HDFS ແລະເສັ້ນດ້າຍ, ລວມທັງລາຍຊື່ຂໍ້ມູນ. ກວດເບິ່ງລາຍລະອຽດການຕັ້ງຄ່າທັງ ໝົດ ແລະທ່ານສາມາດປ່ຽນແປງໄດ້ຖ້າຕ້ອງການ. ຈາກນັ້ນສືບຕໍ່ດ້ວຍສິ່ງນີ້.

26. ໜ້າ ນີ້ຈະສະແດງລາຍລະອຽດຂອງ ຄຳ ສັ່ງ ‘First Run’. ທ່ານສາມາດຂະຫຍາຍມັນເພື່ອເບິ່ງລາຍລະອຽດຂອງການໃຊ້ ຄຳ ສັ່ງ. ຖ້າມີເຄືອຂ່າຍຫລືບັນຫາການອະນຸຍາດຢູ່ໃນກຸ່ມ, ຂັ້ນຕອນນີ້ຈະລົ້ມເຫລວ. ໂດຍປົກກະຕິແລ້ວ, ຂັ້ນຕອນນີ້ຕັດສິນໃຈວ່າການຕິດຕັ້ງ Cluster Building ລຽບ.

27. ເມື່ອຂັ້ນຕອນຂ້າງເທິງນີ້ ສຳ ເລັດແລ້ວ, ກົດປຸ່ມ 'Finish' ເພື່ອ ສຳ ເລັດການຕິດຕັ້ງ. ນີ້ແມ່ນ Dashboard ຂອງ Cloudera Manager ຫຼັງຈາກຕິດຕັ້ງ CDH.

http://104.211.95.96:7180/cmf/home

ພວກເຮົາໄດ້ ສຳ ເລັດການຕິດຕັ້ງ Cloudera Manager ແລະ CDH ສຳ ເລັດແລ້ວ. ໃນ Cloudera Manager Dashboard, ທ່ານສາມາດຊອກຫາຕາຕະລາງທີ່ໄດ້ ກຳ ນົດໄວ້ກ່ອນເຊິ່ງທ່ານສາມາດຕິດຕາມ Cluster CPU, Disk IO ແລະອື່ນໆພວກເຮົາສາມາດຈັດການ Cluster ທັງ ໝົດ ໂດຍໃຊ້ Cloudera Manager ນີ້. ພວກເຮົາຈະເຫັນການ ດຳ ເນີນງານດ້ານການບໍລິຫານທັງ ໝົດ ໃນບົດຂຽນທີ່ຈະມາເຖິງ.