CentOS/RHEL 7 - పార్ట్ 3 లో క్లౌడెరా మేనేజర్uను ఎలా ఇన్uస్టాల్ చేయాలి మరియు కాన్ఫిగర్ చేయాలి

ఈ వ్యాసంలో, పారిశ్రామిక పద్ధతుల ప్రకారం క్లౌడెరా మేనేజర్uను ఇన్uస్టాల్ చేయడానికి దశల వారీ ప్రక్రియను మేము వివరించాము. పార్ట్ 2 లో, మేము ఇప్పటికే క్లౌడెరా ప్రీ-ఆవశ్యకతల ద్వారా వెళ్ళాము, అన్ని సర్వర్లు ఖచ్చితంగా తయారు చేయబడిందని నిర్ధారించుకోండి.

• సెంటూస్/RHEL 7 - పార్ట్ 1 లో హడూప్ సర్వర్uను అమలు చేయడానికి ఉత్తమ పద్ధతులు
• హడూప్ ప్రీ-ఆవశ్యకతలను మరియు భద్రతా గట్టిపడటాన్ని ఏర్పాటు చేయడం - పార్ట్ 2

ఇక్కడ మనకు 5 నోడ్ క్లస్టర్ ఉండబోతోంది, ఇక్కడ 2 మాస్టర్స్ మరియు 3 వర్కర్స్ ఉన్నారు. సంస్థాపనా విధానాన్ని ప్రదర్శించడానికి నేను 5 AWS EC2 ఉదాహరణలను ఉపయోగించాను. నేను ఆ 5 సర్వర్లకు క్రింద పేరు పెట్టాను.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

క్లౌడెరా మేనేజర్ మొత్తం CDH కోసం పరిపాలనా మరియు పర్యవేక్షణ సాధనం. మేము సాధారణంగా క్లౌడెరా హడూప్ కోసం నిర్వహణ సాధనం అని పిలుస్తాము. ఈ సాధనం యొక్క ఉపయోగంతో మేము అమర్చవచ్చు, పర్యవేక్షించవచ్చు, నియంత్రించవచ్చు మరియు కాన్ఫిగరేషన్ మార్పులు చేయవచ్చు. మొత్తం క్లస్టర్uను నిర్వహించడానికి ఇది చాలా అవసరం.

క్లౌడెరా మేనేజర్ యొక్క ముఖ్యమైన ఉపయోగాలు క్రింద ఉన్నాయి.

• హడూప్ క్లస్టర్uలను ఆటోమేటెడ్ మార్గంలో అమర్చండి మరియు కాన్ఫిగర్ చేయండి.
• క్లస్టర్ ఆరోగ్యాన్ని పర్యవేక్షించండి
• హెచ్చరికలను కాన్ఫిగర్ చేయండి
• ట్రబుల్షూటింగ్
• రిపోర్టింగ్
• క్లస్టర్ వినియోగ నివేదికను తయారు చేయడం
• వనరులను డైనమిక్uగా కాన్ఫిగర్ చేస్తోంది

దశ 1: సెంటొస్uలో అపాచీ వెబ్ సర్వర్uను ఇన్uస్టాల్ చేస్తోంది

మేము మాస్టర్ 1 ను క్లౌడెరా రిపోజిటరీల కోసం వెబ్ సర్వర్uగా ఉపయోగించబోతున్నాము. అలాగే, క్లౌడెరా మేనేజర్ WebUI, కాబట్టి మేము అపాచీని ఇన్uస్టాల్ చేయాలి. అపాచీ వెబ్ సర్వర్uను ఇన్uస్టాల్ చేయడానికి క్రింది దశలను అనుసరించండి.

# yum -y install httpd

Httpd ని ఇన్uస్టాల్ చేసిన తర్వాత, దాన్ని ప్రారంభించి, ప్రారంభించండి, తద్వారా ఇది బూట్uలో ప్రారంభించబడుతుంది.

# systemctl start httpd
# systemctl enable httpd

Httpd ప్రారంభించిన తరువాత, స్థితిని నిర్ధారించుకోండి.

# systemctl status httpd

Httpd ను ప్రారంభించిన తరువాత, మీ స్థానిక సిస్టమ్uలో బ్రౌజర్uను తెరిచి, మాస్టర్ 1 యొక్క IP చిరునామాను శోధన పట్టీలో అతికించండి, httpd బాగా నడుస్తుందని నిర్ధారించుకోవడానికి మీరు ఈ పరీక్ష పేజీని పొందాలి.

దశ 2: IP మరియు హోస్ట్ పేరును పరిష్కరించడానికి స్థానిక DNS ను కాన్ఫిగర్ చేయండి

IP మరియు హోస్ట్ పేరును పరిష్కరించడానికి మనకు DNS సర్వర్ ఉండాలి లేదా/etc/హోస్ట్uలను కాన్ఫిగర్ చేయాలి. ఇక్కడ మేము/etc/హోస్ట్uలను కాన్ఫిగర్ చేస్తున్నాము, అయితే నిజ సమయంలో, ఉత్పత్తి వాతావరణం కోసం ప్రత్యేకమైన DNS సర్వర్ ఉంటుంది.

/ Etc/హోస్ట్uలలో మీ అన్ని సర్వర్uల కోసం ఎంట్రీ ఇవ్వడానికి క్రింది దశలను అనుసరించండి.

# vi /etc/hosts

ఇది అన్ని సర్వర్లలో కాన్ఫిగర్ చేయబడాలి.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

దశ 3: SSH పాస్uవర్డ్ లేని లాగిన్uను కాన్ఫిగర్ చేయండి

ఈ ప్రదర్శనలో మాస్టర్ 1 లో క్లౌడెరా మేనేజర్ ఇన్uస్టాల్ చేయబడుతోంది. మేము మాస్టర్ 1 నుండి అన్ని ఇతర నోడ్లకు పాస్వర్డ్-తక్కువ ssh ను కాన్ఫిగర్ చేయాలి. ఎందుకంటే క్లౌడెరా మేనేజర్ ప్యాకేజీలను వ్యవస్థాపించడానికి అన్ని ఇతర నోడ్లను కమ్యూనికేట్ చేయడానికి ssh ని ఉపయోగిస్తుంది.

మాస్టర్ 1 నుండి మిగిలిన అన్ని సర్వర్లకు పాస్వర్డ్-తక్కువ ssh ను కాన్ఫిగర్ చేయడానికి క్రింది దశలను అనుసరించండి. మేము మరింత ముందుకు వెళ్ళడానికి వినియోగదారు ‘టెక్మింట్’ ను కలిగి ఉండబోతున్నాము.

చూపిన విధంగా useradd ఆదేశాన్ని ఉపయోగించి వినియోగదారుని ‘టెక్మింట్’ మొత్తం 4 సర్వర్uలను సృష్టించండి.

# useradd -m tecmint

‘టెక్మింట్’ వినియోగదారుకు రూట్ అధికారాన్ని ఇవ్వడానికి, ఈ క్రింది పంక్తిని/etc/sudoers ఫైల్uలో చేర్చండి. స్క్రీన్uషాట్uలో ఇచ్చినట్లుగా మీరు ఈ పంక్తిని రూట్ కింద జోడించవచ్చు.

tecmint   ALL=(ALL)    ALL

కింది ఆదేశాన్ని ఉపయోగించి వినియోగదారు ‘టెక్మింట్’ కు మారండి మరియు మాస్టర్ 1 లో ssh కీని సృష్టించండి.

# sudo su tecmint
$ ssh-keygen

ఇప్పుడు చూపిన విధంగా ssh-copy-id ఆదేశాన్ని ఉపయోగించి సృష్టించిన కీని మొత్తం 4 సర్వర్లకు కాపీ చేయండి.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 

ఇప్పుడు మీరు మాస్టర్ 1 నుండి చూపిన విధంగా పాస్వర్డ్ లేకుండా మిగిలిన అన్ని సర్వర్లకు ssh చేయగలరు.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

దశ 4: క్లౌడెరా మేనేజర్uను ఇన్uస్టాల్ చేయడం మరియు కాన్ఫిగర్ చేయడం

RHEL/CentOS లోని ప్యాకేజీ నిర్వహణ సాధనాలను ఉపయోగించి అన్ని ప్యాకేజీలను వ్యవస్థాపించడానికి మేము విక్రేత (క్లౌడెరా) రిపోజిటరీని ఉపయోగించవచ్చు. నిజ సమయంలో, మా స్వంత రిపోజిటరీని సృష్టించడం ఉత్తమ పద్ధతి, ఎందుకంటే ఉత్పత్తి సర్వర్లలో మనకు ఇంటర్నెట్ సదుపాయం లేకపోవచ్చు.

ఇక్కడ మేము క్లౌడెరా మేనేజర్ 6.3.1 విడుదలను వ్యవస్థాపించబోతున్నాము. మేము మాస్టర్ 1 ను రెపో సర్వర్uగా ఉపయోగించబోతున్నాం కాబట్టి, మేము క్రింద పేర్కొన్న మార్గంలో ప్యాకేజీలను డౌన్uలోడ్ చేస్తున్నాము.

మాస్టర్ 1 సర్వర్uలో క్రింద పేర్కొన్న డైరెక్టరీలను సృష్టించండి.

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Http ద్వారా ప్యాకేజీలను డౌన్uలోడ్ చేయడానికి మేము wget సాధనాన్ని ఉపయోగించవచ్చు. కాబట్టి, కింది ఆదేశాన్ని ఉపయోగించి wget ను ఇన్స్టాల్ చేయండి.

$ sudo yum -y install wget

తరువాత, కింది wget ఆదేశాన్ని ఉపయోగించి క్లౌడెరా మేనేజర్ తారు ఫైల్uను డౌన్uలోడ్ చేయండి.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

తారు ఫైల్uను/var/www/html/cloudera-repos/cm6 లోకి సంగ్రహించండి, ఇప్పటికే మేము http ని ఇన్uస్టాల్ చేయడం ద్వారా మాస్టర్ 1 ను వెబ్ సర్వర్uగా చేసాము మరియు మేము బ్రౌజర్uలో పరీక్షించాము.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

ఇప్పుడు, అన్ని క్లౌడెరా ఆర్uపిఎమ్ ఫైళ్లు/var/www/html/cloudera-repos/cm6/RPMS/x86_64 డైరెక్టరీలో ఉన్నాయని ధృవీకరించండి.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

కింది కంటెంట్uతో క్లస్టర్ హోస్ట్uలలోని అన్ని సర్వర్uలలో /etc/yum.repos.d/cloudera-manager.repo ఫైల్uలను సృష్టించండి, ఇక్కడ మాస్టర్ 1 (65.0.101.148) వెబ్ సర్వర్.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

ఇప్పుడు రిపోజిటరీ జోడించబడింది, ప్రారంభించబడిన రిపోజిటరీలను చూడటానికి క్రింది ఆదేశాన్ని అమలు చేయండి.

$ yum repolist

రిపోజిటరీలో అందుబాటులో ఉన్న అన్ని క్లౌడెరా సంబంధిత ప్యాకేజీలను చూడటానికి క్రింది ఆదేశాన్ని అమలు చేయండి.

$ yum list available | grep cloudera*

క్లౌడెరా-మేనేజర్-సర్వర్, క్లౌడెరా-మేనేజర్-ఏజెంట్, క్లౌడెరా-మేనేజర్-డెమోన్స్ క్లౌడెరా-మేనేజర్-సర్వర్-డిబి -2 ని వ్యవస్థాపించండి.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

వ్యవస్థాపించిన అన్ని క్లౌడెరా ప్యాకేజీలను చూడటానికి క్రింది ఆదేశాన్ని అమలు చేయండి.

$ yum list installed | grep cloudera*

క్లౌడెరా మేనేజర్ మరియు ఇతర సేవల మెటాడేటాను నిల్వ చేయడానికి అంతర్లీన డేటాబేస్ అయిన క్లౌడెరా-ఎస్ఎమ్-సర్వర్-డిబిని ప్రారంభించడానికి క్రింది ఆదేశాన్ని అమలు చేయండి.

అప్రమేయంగా, క్లౌడెరా పోస్ట్uగ్రే-SQL తో వస్తోంది, ఇది క్లౌడెరా మేనేజర్uలో పొందుపరచబడింది. మేము ఎంబెడెడ్ చేసినదాన్ని రియల్ టైమ్ బాహ్య డేటాబేస్లో ఇన్స్టాల్ చేస్తున్నాము. ఇది ఒరాకిల్, MySQL లేదా PostgreSQL కావచ్చు.

$ sudo systemctl start cloudera-scm-server-db

డేటాబేస్ యొక్క స్థితిని తనిఖీ చేయడానికి క్రింది ఆదేశాన్ని అమలు చేయండి.

$ sudo systemctl status cloudera-scm-server-db

క్లౌడెరా మేనేజర్ సర్వర్ కోసం db.properties ను కాన్ఫిగర్ చేయండి.

$ vi /etc/cloudera-scm-server/db.properties

క్లౌడెరా మేనేజర్ ఎంబెడెడ్ డేటాబేస్ను ఉపయోగించుకునేలా చేయడానికి దిగువ విలువను EMBEDDED అని కాన్ఫిగర్ చేయండి.

com.cloudera.cmf.db.setupType=EMBEDDED

క్లౌడెరా మేనేజర్ సర్వర్uను ప్రారంభించడానికి క్రింది ఆదేశాన్ని అమలు చేయండి.

$ sudo systemctl start cloudera-scm-server

క్లౌడెరా మేనేజర్ సర్వర్ యొక్క స్థితిని తనిఖీ చేయడానికి క్రింది ఆదేశాన్ని అమలు చేయండి.

$ sudo systemctl status cloudera-scm-server

క్లౌడెరా మేనేజర్ ఏజెంట్ యొక్క స్థితిని ప్రారంభించడానికి మరియు తనిఖీ చేయడానికి క్రింది ఆదేశాన్ని అమలు చేయండి.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

క్లౌడెరా మేనేజర్ సర్వర్ విజయవంతంగా మరియు బాగా నడుస్తున్న తర్వాత, మీరు క్లౌడెరా మేనేజర్ యొక్క పోర్ట్ సంఖ్య అయిన IP చిరునామా మరియు పోర్ట్ నంబర్ 7180 ను ఉపయోగించి బ్రౌజర్uలో వెబ్uయూఐ (లాగిన్ పేజీ) ను చూడవచ్చు.

https://65.0.101.148:7180

ఈ వ్యాసంలో, సెంటొస్ 7 లో క్లౌడెరా మేనేజర్uను ఇన్uస్టాల్ చేయడానికి దశల వారీ ప్రక్రియను చూశాము. తరువాతి వ్యాసంలో సిడిహెచ్ మరియు ఇతర సేవా సంస్థాపనలను చూస్తాము.