ການປະຕິບັດທີ່ດີທີ່ສຸດ ສຳ ລັບການ ນຳ ໃຊ້ Server Hadoop ໃນ CentOS / RHEL 7 - ພາກທີ 1
ໃນບົດຂຽນຊຸດນີ້, ພວກເຮົາ ກຳ ລັງຈະເວົ້າເຖິງອາຄານ Cloudera Hadoop Cluster ທັງ ໝົດ ທີ່ມີຜູ້ຂາຍແລະອຸດສາຫະ ກຳ ແນະ ນຳ ໃຫ້ມີການປະຕິບັດທີ່ດີທີ່ສຸດ.
ການຕິດຕັ້ງລະບົບປະຕິບັດການແລະການເຮັດລະດັບຂອງລະບົບປະຕິບັດການ OS ແມ່ນຂັ້ນຕອນ ທຳ ອິດໃນການສ້າງ Hadoop Cluster. Hadoop ສາມາດເຮັດວຽກໄດ້ຕາມລົດຊາດຕ່າງໆຂອງເວທີ Linux: CentOS, RedHat, Ubuntu, Debian, SUSE ແລະອື່ນໆ, ໃນການຜະລິດໃນເວລາຈິງ, ສ່ວນໃຫຍ່ຂອງກຸ່ມ Hadoop ແມ່ນສ້າງຢູ່ເທິງສຸດຂອງ RHEL/CentOS, ພວກເຮົາຈະໃຊ້ CentOS 7 ເພື່ອການສາທິດ ໃນຊຸດຂອງບົດແນະ ນຳ ນີ້.
ໃນອົງກອນ, ການຕິດຕັ້ງ OS ສາມາດເຮັດໄດ້ໂດຍໃຊ້ kickstart. ຖ້າມັນແມ່ນກຸ່ມ 3 ເຖິງ 4 node, ການຕິດຕັ້ງຄູ່ມືແມ່ນເປັນໄປໄດ້ແຕ່ຖ້າພວກເຮົາສ້າງກຸ່ມໃຫຍ່ທີ່ມີຫລາຍກວ່າ 10 node, ມັນກໍ່ເປັນເລື່ອງທີ່ ໜ້າ ເບື່ອທີ່ຈະຕິດຕັ້ງ OS ແຕ່ລະອັນ. ໃນສະຖານະການນີ້, ວິທີການ Kickstart ເຂົ້າມາໃນຮູບ, ພວກເຮົາສາມາດ ດຳ ເນີນການຕິດຕັ້ງມວນສານໂດຍໃຊ້ kickstart.
ການບັນລຸຜົນງານທີ່ດີຈາກສະພາບແວດລ້ອມຂອງ Hadoop ແມ່ນຂື້ນກັບການຈັດຫາ Hardware & Software ທີ່ຖືກຕ້ອງ. ສະນັ້ນ, ການສ້າງກຸ່ມຜະລິດຕະພັນ Hadoop cluster ມີການພິຈາລະນາຫຼາຍຢ່າງກ່ຽວກັບ Hardware ແລະ Software.
ໃນບົດຂຽນນີ້, ພວກເຮົາຈະຜ່ານ Benchmarks ຕ່າງໆກ່ຽວກັບການຕິດຕັ້ງ OS ແລະບາງການປະຕິບັດທີ່ດີທີ່ສຸດ ສຳ ລັບການ ນຳ ໃຊ້ Cloudera Hadoop Cluster Server ໃນ CentOS/RHEL 7.
ການພິຈາລະນາທີ່ ສຳ ຄັນແລະການປະຕິບັດທີ່ດີທີ່ສຸດ ສຳ ລັບການ ນຳ ໃຊ້ Server Hadoop
ຕໍ່ໄປນີ້ແມ່ນການປະຕິບັດທີ່ດີທີ່ສຸດ ສຳ ລັບການຕັ້ງຄ່າການ ນຳ ໃຊ້ Cloudera Hadoop Cluster Server ໃນ CentOS/RHEL 7.
- ເຄື່ອງແມ່ຂ່າຍຂອງ Hadoop ບໍ່ ຈຳ ເປັນຕ້ອງມີເຄື່ອງແມ່ຂ່າຍມາດຕະຖານວິສາຫະກິດເພື່ອສ້າງກຸ່ມ, ມັນຕ້ອງມີຮາດແວສິນຄ້າ.
- ໃນກຸ່ມຜະລິດ, ມີຂໍ້ແນະ ນຳ ກ່ຽວກັບຂໍ້ມູນຈາກ 8 ເຖິງ 12 ແຜ່ນ. ອີງຕາມລັກສະນະຂອງວຽກງານ, ພວກເຮົາຕ້ອງຕັດສິນໃຈກ່ຽວກັບເລື່ອງນີ້. ຖ້າການແບ່ງກຸ່ມແມ່ນ ສຳ ລັບການ ນຳ ໃຊ້ຄອມພິວເຕີ້ແບບສຸມ, ການມີ 4 ຫາ 6 ໄດແມ່ນການປະຕິບັດທີ່ດີທີ່ສຸດເພື່ອຫລີກລ້ຽງບັນຫາ I/O.
- ການຂັບຂໍ້ມູນຄວນແບ່ງອອກເປັນສ່ວນບຸກຄົນ, ຍົກຕົວຢ່າງ - ເລີ່ມຈາກ/data01 ເຖິງ/data10.
- ການຕັ້ງຄ່າ RAID ບໍ່ໄດ້ຖືກແນະ ນຳ ໃຫ້ໃຊ້ ສຳ ລັບຂໍ້ ກຳ ນົດຂອງຜູ້ອອກແຮງງານ, ເພາະວ່າ Hadoop ເອງກໍ່ໄດ້ໃຫ້ຄວາມຜິດພາດຕໍ່ຂໍ້ມູນໂດຍການເຮັດແບບ ຈຳ ລອງຕັນເປັນ 3 ໂດຍຄ່າເລີ່ມຕົ້ນ. ສະນັ້ນ JBOD ແມ່ນດີທີ່ສຸດ ສຳ ລັບຂໍ້ ກຳ ມະກອນ.
- ສຳ ລັບ Master Servers, RAID 1 ແມ່ນການປະຕິບັດທີ່ດີທີ່ສຸດ.
- ລະບົບແຟ້ມຄ່າເລີ່ມຕົ້ນໃນ CentOS/RHEL 7.x ແມ່ນ XFS. Hadoop ສະຫນັບສະຫນູນ XFS, ext3, ແລະ ext4. ລະບົບແຟ້ມເອກະສານທີ່ແນະ ນຳ ແມ່ນ ext3 ເພາະມັນຖືກທົດສອບເພື່ອເຮັດວຽກໄດ້ດີ.
- ເຄື່ອງແມ່ຂ່າຍທັງ ໝົດ ຄວນມີລຸ້ນ OS ດຽວກັນ, ຢ່າງ ໜ້ອຍ ກໍ່ເປັນການປ່ອຍລຸ້ນນ້ອຍໆ.
- ມັນເປັນການປະຕິບັດທີ່ດີທີ່ສຸດທີ່ຈະມີຮາດແວທີ່ເປັນເອກະພາບກັນ (ຂໍ້ ກຳ ນົດຂອງພະນັກງານທັງ ໝົດ ຄວນມີຄຸນລັກສະນະຂອງຮາດແວຄືກັນ (RAM, ພື້ນທີ່ດິດແລະ Core ອື່ນໆ).
- ອີງຕາມລະບົບການເຮັດວຽກແບບກຸ່ມ (Balload Workload, Compute Intload, I/O Intensive) ແລະຂະ ໜາດ, ການວາງແຜນຊັບພະຍາກອນ (RAM, CPU) ຕໍ່ເຊີເຊີ້ຈະມີຄວາມແຕກຕ່າງ.
ຊອກຫາຕົວຢ່າງຂ້າງລຸ່ມນີ້ ສຳ ລັບການແບ່ງປັນ Disk ຂອງເຊີຟເວີທີ່ເກັບຮັກສາ 24TB.
ຕິດຕັ້ງ CentOS 7 ສຳ ລັບການຕິດຕັ້ງ Server Hadoop
ສິ່ງທີ່ທ່ານ ຈຳ ເປັນຕ້ອງຮູ້ກ່ອນຕິດຕັ້ງ CentOS 7 server ສຳ ລັບ Hadoop Server.
- ການຕິດຕັ້ງ ໜ້ອຍ ທີ່ສຸດແມ່ນພຽງພໍ ສຳ ລັບ Hadoop Servers (ຂໍ້ ກຳ ນົດຂອງພະນັກງານ), ໃນບາງກໍລະນີ, GUI ສາມາດຕິດຕັ້ງໄດ້ພຽງແຕ່ເຄື່ອງແມ່ຂ່າຍ Master ຫຼື Server ທີ່ພວກເຮົາສາມາດໃຊ້ browser ສຳ ລັບ Web UI ຂອງເຄື່ອງມືການຄຸ້ມຄອງ.
- ການຕັ້ງຄ່າເຄືອຂ່າຍ, ຊື່ໂຮດຕິ້ງແລະການຕັ້ງຄ່າທີ່ກ່ຽວຂ້ອງກັບ OS ອື່ນໆສາມາດເຮັດໄດ້ຫຼັງຈາກຕິດຕັ້ງ OS.
- ໃນເວລາທີ່ແທ້ຈິງ, ຜູ້ຂາຍເຄື່ອງແມ່ຂ່າຍຈະມີຄອນໂຊນຂອງຕົນເອງເພື່ອພົວພັນແລະຈັດການເຊີຟເວີ, ຍົກຕົວຢ່າງ - ເຊີຟເວີ Dell ແມ່ນມີ iDRAC ເຊິ່ງເປັນອຸປະກອນ, ຖືກຝັງຢູ່ກັບເຊີບເວີ. ໂດຍໃຊ້ອິນເຕີເຟດ iDRAC ພວກເຮົາສາມາດຕິດຕັ້ງ OS ດ້ວຍການມີພາບ OS ໃນລະບົບທ້ອງຖິ່ນຂອງພວກເຮົາ.
ໃນບົດຂຽນນີ້, ພວກເຮົາໄດ້ຕິດຕັ້ງ OS (CentOS 7) ໃນເຄື່ອງ virtual VMware. ທີ່ນີ້, ພວກເຮົາຈະບໍ່ມີແຜ່ນຫຼາຍແຜ່ນເພື່ອເຮັດການແບ່ງປັນ. CentOS ແມ່ນຄ້າຍຄືກັບ RHEL (ຟັງຊັນດຽວກັນ), ດັ່ງນັ້ນພວກເຮົາຈະເຫັນຂັ້ນຕອນໃນການຕິດຕັ້ງ CentOS.
1. ເລີ່ມຕົ້ນໂດຍການດາວໂຫລດຮູບພາບ CentOS 7.x ISO ໃນລະບົບປ່ອງຢ້ຽມທ້ອງຖິ່ນຂອງທ່ານແລະເລືອກມັນໃນຂະນະທີ່ ກຳ ລັງເລີ່ມຕົ້ນເຄື່ອງ virtual. ເລືອກ 'ຕິດຕັ້ງ CentOS 7' ດັ່ງທີ່ສະແດງ.
2. ເລືອກພາສາ, ຄ່າເລີ່ມຕົ້ນຈະເປັນພາສາອັງກິດ, ແລະກົດສືບຕໍ່.
3. ການເລືອກ Software - ເລືອກ 'ການຕິດຕັ້ງ ໜ້ອຍ ທີ່ສຸດ' ແລະກົດ 'ເຮັດແລ້ວ'.
4. ຕັ້ງລະຫັດຜ່ານຂອງຮາກເພາະມັນຈະກະຕຸ້ນເຮົາໃຫ້ຕັ້ງຄ່າ.
5. ຈຸດ ໝາຍ ປາຍທາງການຕິດຕັ້ງ - ນີ້ແມ່ນບາດກ້າວ ສຳ ຄັນທີ່ຕ້ອງລະມັດລະວັງ. ພວກເຮົາຕ້ອງເລືອກແຜ່ນທີ່ OS ຕ້ອງໄດ້ຕິດຕັ້ງ, ແຜ່ນທີ່ອຸທິດຕົນເອງຄວນຖືກເລືອກໃຫ້ໃຊ້ ສຳ ລັບ OS. ກົດທີ່ 'ຈຸດ ໝາຍ ປາຍທາງການຕິດຕັ້ງ' ແລະເລືອກເອົາ Disk, ໃນເວລາທີ່ໃຊ້ເວລາຫຼາຍແຜ່ນກໍ່ຈະຢູ່ທີ່ນັ້ນ, ພວກເຮົາ ຈຳ ເປັນຕ້ອງເລືອກ, ທີ່ດີກວ່າ 'sda'.
6. ຕົວເລືອກເກັບຂໍ້ມູນອື່ນໆ - ເລືອກຕົວເລືອກທີສອງ (ຂ້ອຍຈະຕັ້ງຄ່າການແບ່ງປັນ) ເພື່ອ ກຳ ນົດການແບ່ງປັນທີ່ກ່ຽວຂ້ອງກັບ OS ເຊັ່ນ/var,/var/log,/home,/tmp,/opt,/swap.
7. ເມື່ອເຮັດແລ້ວ, ເລີ່ມຕົ້ນການຕິດຕັ້ງ.
8. ເມື່ອການຕິດຕັ້ງ ສຳ ເລັດແລ້ວ, ໃຫ້ເຊີບເວີ ໃໝ່.
9. ເຂົ້າສູ່ລະບົບເຊີຟເວີແລະຕັ້ງຄ່າ hostname.
# hostnamectl status # hostnamectl set-hostname tecmint # hostnamectl status
ໃນບົດຂຽນນີ້, ພວກເຮົາໄດ້ຜ່ານຂັ້ນຕອນການຕິດຕັ້ງ OS ແລະການປະຕິບັດທີ່ດີທີ່ສຸດ ສຳ ລັບການແບ່ງປັນລະບົບແຟ້ມເອກະສານ. ນີ້ແມ່ນ ຄຳ ແນະ ນຳ ທົ່ວໄປທັງ ໝົດ, ອີງຕາມລັກສະນະຂອງວຽກງານ, ພວກເຮົາອາດຈະຕ້ອງໄດ້ສຸມ ກຳ ລັງແຮງເພື່ອໃຫ້ໄດ້ຜົນງານທີ່ດີທີ່ສຸດຂອງກຸ່ມ. ການວາງແຜນເປັນກຸ່ມແມ່ນສິນລະປະ ສຳ ລັບຜູ້ບໍລິຫານ Hadoop. ພວກເຮົາຈະມີການ ດຳ ນ້ ຳ ເລິກເຂົ້າໃນລະດັບຄວາມ ຈຳ ເປັນຂອງລະດັບ OS ກ່ອນແລະຄວາມປອດໄພໃນບົດຄວາມຕໍ່ໄປ.