ວິທີການຕັ້ງຄ່າຄວາມພ້ອມ ສຳ ລັບ Namenode - ພາກທີ 5

Hadoop ມີສອງສ່ວນປະກອບຫຼັກຄື HDFS ແລະ YARN. HDFS ແມ່ນ ສຳ ລັບການເກັບຮັກສາຂໍ້ມູນ, YARN ແມ່ນ ສຳ ລັບການປະມວນຜົນຂໍ້ມູນ. HDFS ແມ່ນລະບົບເອກະສານແຈກຢາຍ Hadoop, ມັນມີ Namenode ເປັນ Master Service ແລະ Datanode ເປັນ Slave Service.

Namenode ແມ່ນສ່ວນປະກອບ ສຳ ຄັນຂອງ Hadoop ເຊິ່ງ ກຳ ລັງເກັບຂໍ້ມູນ metadata ຂອງຂໍ້ມູນທີ່ເກັບໄວ້ໃນ HDFS. ຖ້າ Namenode ຫຼຸດລົງ, ກຸ່ມທັງ ໝົດ ຈະບໍ່ສາມາດເຂົ້າເຖິງໄດ້, ມັນແມ່ນຈຸດດຽວຂອງຄວາມລົ້ມເຫຼວ (SPOF). ສະນັ້ນ, ສະພາບແວດລ້ອມການຜະລິດຈະມີ Namenode High Availability ເພື່ອຫລີກລ້ຽງການຂາດແຄນການຜະລິດຖ້າ Namenode ຫຼຸດລົງ ໜຶ່ງ ຍ້ອນເຫດຜົນຕ່າງໆເຊັ່ນ: ການເກີດອຸປະຕິເຫດເຄື່ອງ, ກິດຈະ ກຳ ບຳ ລຸງຮັກສາທີ່ວາງແຜນໄວ້, ແລະອື່ນໆ.

Hadoop 2.x ສະ ໜອງ ຄວາມເປັນໄປໄດ້ທີ່ພວກເຮົາສາມາດມີ Namenodes ສອງຢ່າງ, ອັນ ໜຶ່ງ ແມ່ນ Active Namenode ແລະອີກອັນ ໜຶ່ງ ແມ່ນ Standby Namenode.

Active Namenode - ມັນຄວບຄຸມການ ດຳ ເນີນງານຂອງລູກຄ້າທັງ ໝົດ.
Standby Namenode - ມັນແມ່ນຊ້ ຳ ແລ້ວຂອງ Active Namenode. ຖ້າ Active NN ຫຼຸດລົງ, ຫຼັງຈາກນັ້ນ Standby NN ຈະຮັບຜິດຊອບທັງ ໝົດ ຂອງ Active NN.

ການເຮັດໃຫ້ Namenode ສາມາດໃຊ້ງານໄດ້ສູງຮຽກຮ້ອງໃຫ້ Zookeeper ເຊິ່ງ ຈຳ ເປັນ ສຳ ລັບການລົ້ມເຫລວໂດຍອັດຕະໂນມັດ. ZKFC (Zookeeper Failover Controller) ແມ່ນລູກຄ້າ Zookeeper ທີ່ໃຊ້ເພື່ອຮັກສາສະຖານະພາບຂອງ Namenode.

ການປະຕິບັດທີ່ດີທີ່ສຸດ ສຳ ລັບການ ນຳ ໃຊ້ Server Hadoop ໃນ CentOS/RHEL 7 - ພາກທີ 1
ການຕັ້ງຄ່າ Hadoop ກ່ອນຄວາມ ຈຳ ເປັນແລະຄວາມເຂັ້ມແຂງໃນການຮັກສາຄວາມປອດໄພ - ພາກທີ 2
ວິທີການຕິດຕັ້ງແລະ ກຳ ຫນົດຄ່າ Cloudera Manager ໃນ CentOS/RHEL 7 - ພາກທີ 3
ວິທີການຕິດຕັ້ງ CDH ແລະຕັ້ງຄ່າສະຖານທີ່ບໍລິການໃນ CentOS/RHEL 7 - ພາກທີ 4

ໃນບົດຂຽນນີ້, ພວກເຮົາ ກຳ ລັງຈະເຮັດໃຫ້ Namenode ມີຄວາມພ້ອມສູງໃນ Cloudera Manager.

ຂັ້ນຕອນທີ 1: ການຕິດຕັ້ງ Zookeeper

1. ເຂົ້າສູ່ລະບົບ Cloudera Manager.

http://Your-IP:7180/cmf/home

2. ໃນ Cluster (tecmint) ການກະຕຸ້ນເຕືອນ, ເລືອກ“ ເພີ່ມບໍລິການ”.

3. ເລືອກບໍລິການ“ Zookeeper”.

4. ເລືອກ server ທີ່ເຮົາ ກຳ ລັງຈະຕິດຕັ້ງ Zookeeper.

5. ພວກເຮົາຈະມີ 3 Zookeepers ເພື່ອປະກອບເປັນ Zookeeper Quorum. ເລືອກເຄື່ອງແມ່ຂ່າຍທີ່ໄດ້ກ່າວມາຂ້າງລຸ່ມນີ້.

6. ຕັ້ງຄ່າຄຸນສົມບັດຂອງ Zookeeper, ນີ້ພວກເຮົາ ກຳ ລັງມີຄ່າເລີ່ມຕົ້ນ. ໃນເວລາທີ່ແທ້ຈິງ, ທ່ານຕ້ອງມີບັນດາໄດເລກະທໍລີ/ຈຸດແຍກເພື່ອເກັບຂໍ້ມູນ Zookeeper. ໃນພາກທີ 1, ພວກເຮົາໄດ້ອະທິບາຍກ່ຽວກັບການຕັ້ງຄ່າການເກັບຮັກສາ ສຳ ລັບແຕ່ລະບໍລິການ. ກົດ“ ສືບຕໍ່” ເພື່ອ ດຳ ເນີນການຕໍ່.

7. ການຕິດຕັ້ງຈະເລີ່ມຕົ້ນ, ເມື່ອຕິດຕັ້ງ Zookeeper ຈະຖືກເລີ່ມຕົ້ນ. ທ່ານສາມາດເບິ່ງປະຕິບັດງານພື້ນຖານໄດ້ທີ່ນີ້.

8. ຫຼັງຈາກທີ່ປະສົບຜົນ ສຳ ເລັດຂອງຂັ້ນຕອນຂ້າງເທິງ, ສະຖານະພາບຈະເປັນ 'ສຳ ເລັດຮູບ'.

9. ດຽວນີ້, Zookeeper ແມ່ນຕິດຕັ້ງແລະຕັ້ງຄ່າຢ່າງປະສົບຜົນ ສຳ ເລັດ. ກົດປຸ່ມ 'ສຳ ເລັດຮູບ'.

10. ທ່ານສາມາດເບິ່ງການບໍລິການ Zookeeper ໃນ Cloudera Manager Dashboard.

ຂັ້ນຕອນທີ 2: ເຮັດໃຫ້ Namenode ມີຄວາມພ້ອມສູງ

11. ໄປທີ່ Cloudera Manager -> HDFS -> ການກະ ທຳ -> ເປີດໃຊ້ງານໃຫ້ມີຄວາມພ້ອມສູງ.

12. ກະລຸນາໃສ່ຊື່ Nameservice ເປັນ "nameservice1" - ນີ້ແມ່ນ Namespace ທົ່ວໄປ ສຳ ລັບທັງ Active ແລະ standby Namenode.

13. ເລືອກ Namenode ຄັ້ງທີສອງທີ່ພວກເຮົາຈະມີ Namenode ແບບສະແຕນບາຍ.

14. ໃນທີ່ນີ້ພວກເຮົາ ກຳ ລັງເລືອກ master2.linux-console.net ສຳ ລັບ Namenode ສະແຕນບາຍ.

15. ເລືອກ Nodes ຂອງວາລະສານ, ນີ້ແມ່ນການບໍລິການທີ່ ຈຳ ເປັນ ສຳ ລັບການຊິ້ງຂໍ້ມູນ Active ແລະ Standby Namenode.

16. ພວກເຮົາ ກຳ ລັງເຮັດ Quorum Journal ໂດຍການໃສ່ໃນ Journal Journal ໃນ 3 ເຊີບເວີດັ່ງທີ່ກ່າວມາຂ້າງລຸ່ມນີ້. ເລືອກ 3 ເຊີບເວີແລະກົດປຸ່ມ 'OK'.

17. ກົດ 'ສືບຕໍ່' ເພື່ອ ດຳ ເນີນການ.

18. ໃສ່ເສັ້ນທາງໄດເລກະທໍລີ Journal Node. ພຽງແຕ່ພວກເຮົາຕ້ອງການກ່າວເຖິງເສັ້ນທາງໃນຂະນະທີ່ຕິດຕັ້ງໄດເລກະທໍລີນີ້ຈະຖືກສ້າງໂດຍອັດຕະໂນມັດໂດຍການບໍລິການເອງ. ພວກເຮົາ ກຳ ລັງກ່າວເຖິງ ‘/ jn’ . ກົດ 'ສືບຕໍ່' ເພື່ອ ດຳ ເນີນການຕໍ່.

19. ມັນຈະເລີ່ມເຮັດໃຫ້ມີຄວາມພ້ອມສູງສຸດ.

20. ເມື່ອ ສຳ ເລັດຂັ້ນຕອນພື້ນຖານທັງ ໝົດ, ພວກເຮົາຈະໄດ້ຮັບສະຖານະພາບ 'ສຳ ເລັດຮູບ'.

21. ສຸດທ້າຍ, ພວກເຮົາຈະໄດ້ຮັບການແຈ້ງເຕືອນ ‘ເປີດໃຊ້ງານໃຫ້ມີຄວາມພ້ອມສູງສຸດຢ່າງ ສຳ ເລັດຜົນ’. ກົດ 'ສຳ ເລັດຮູບ'.

22. ກວດສອບ Namenode ທີ່ໃຊ້ງານແບບເຄື່ອນໄຫວແລະສະແຕນບາຍໂດຍເຂົ້າໄປທີ່ Cloudera Manager -> HDFS -> Instances.

23. ນີ້, ທ່ານສາມາດຮ້ອງໄຫ້ສອງ Namenodes, ໜຶ່ງ ຈະຢູ່ໃນສະພາບ 'Active' ແລະອີກອັນ ໜຶ່ງ ຈະຢູ່ໃນສະຖານະ 'Standby'.

ໃນບົດຂຽນນີ້, ພວກເຮົາໄດ້ຜ່ານຂັ້ນຕອນແຕ່ລະຂັ້ນຕອນເພື່ອເຮັດໃຫ້ Namenode ມີຄວາມພ້ອມສູງ. ມັນໄດ້ຖືກແນະນໍາໃຫ້ມີ Namenode ຄວາມພ້ອມສູງໃນທຸກໆກຸ່ມໃນສະພາບແວດລ້ອມທີ່ໃຊ້ເວລາຈິງ. ກະລຸນາຂຽນຂໍ້ສົງໄສຂອງທ່ານຖ້າທ່ານປະສົບກັບຄວາມຜິດພາດໃນຂະນະທີ່ ດຳ ເນີນຂັ້ນຕອນນີ້. ພວກເຮົາຈະເຫັນການມີຄວາມພ້ອມສູງຂອງຜູ້ຈັດການຊັບພະຍາກອນໃນບົດຄວາມຕໍ່ໄປ.