సెంటొస్/ఆర్uహెచ్uఎల్ 7 - పార్ట్ 4 లో సిడిహెచ్uను ఇన్uస్టాల్ చేయడం మరియు సేవా నియామకాలను ఎలా కాన్ఫిగర్ చేయాలి

మునుపటి వ్యాసంలో, క్లౌడెరా మేనేజర్ యొక్క సంస్థాపన గురించి మేము వివరించాము, ఈ వ్యాసంలో, మీరు RHEL/CentOS 7 లో CDH (Cloudera Distribution Hadoop) ను ఎలా ఇన్uస్టాల్ చేయాలో మరియు కాన్ఫిగర్ చేయాలో నేర్చుకుంటారు.

CDH పార్శిల్uను ఇన్uస్టాల్ చేస్తున్నప్పుడు, మేము క్లౌడెరా మేనేజర్ మరియు CDH అనుకూలతను నిర్ధారించాలి. క్లౌడెరా వెర్షన్ 3 భాగాలను కలిగి ఉంది - . . <నిర్వహణ>. క్లౌడెరా మేనేజర్ మేజర్ మరియు మైనర్ వెర్షన్ తప్పనిసరిగా సిడిహెచ్ మేజర్ మరియు మైనర్ వెర్షన్ వలె ఉండాలి.

ఉదాహరణ కోసం, మేము క్లౌడెరా మేనేజర్ 6.3.1 మరియు CDH 6.3.2 ఉపయోగిస్తున్నాము. ఇక్కడ 6 మేజర్ మరియు 3 మైనర్ వెర్షన్. అనుకూలత సమస్యలను నివారించడానికి మేజర్ మరియు మైనర్ ఒకేలా ఉండాలి.

• సెంటూస్/RHEL 7 - పార్ట్ 1 లో హడూప్ సర్వర్uను అమలు చేయడానికి ఉత్తమ పద్ధతులు
• హడూప్ ప్రీ-ఆవశ్యకతలను మరియు భద్రతా గట్టిపడటాన్ని ఏర్పాటు చేయడం - పార్ట్ 2
• CentOS/RHEL 7 - పార్ట్ 3 లో క్లౌడెరా మేనేజర్uను ఎలా ఇన్uస్టాల్ చేయాలి మరియు కాన్ఫిగర్ చేయాలి

CDH ని ఇన్uస్టాల్ చేయడానికి మేము ఈ క్రింది 2 నోడ్uలను తీసుకుంటాము. ఇప్పటికే మేము క్లౌడెరా మేనేజర్uను మాస్టర్ 1 లో ఇన్uస్టాల్ చేసాము, మాస్టర్ 1 ను రెపో సర్వర్uగా ఉపయోగిస్తున్నాము.

master1.linux-console.net
worker1.linux-console.net

దశ 1: మాస్టర్ సర్వర్uలో CDH పొట్లాలను డౌన్uలోడ్ చేయండి

1. మొదట, మాస్టర్ 1 సర్వర్uకు కనెక్ట్ అవ్వండి మరియు/var/www/html/cloudera-repos/cdh డైరెక్టరీలో CDH పార్సల్స్ ఫైల్uలను డౌన్uలోడ్ చేయండి. RHEL/CentOS 7 కి అనుకూలంగా ఉండే 3 ఫైళ్ళను క్రింద డౌన్uలోడ్ చేసుకోవాలి.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. ఈ ఫైళ్ళను డౌన్uలోడ్ చేయడానికి ముందు,/var/www/html/cloudera-repos/location కింద సిడిహెచ్ డైరెక్టరీని సృష్టించాలని నిర్ధారించుకోండి.

$ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh

3. తరువాత, కింది wget ఆదేశాన్ని ఉపయోగించి పైన పేర్కొన్న 3 ఫైళ్ళను డౌన్uలోడ్ చేయండి.

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

దశ 2: వర్కర్ క్లయింట్uలపై క్లౌడెరా మేనేజర్ రెపోను సెటప్ చేయండి

4. ఇప్పుడు, వర్కర్ సర్వర్uలకు కనెక్ట్ అవ్వండి మరియు రెపో ఫైల్ (క్లౌడెరా-మేనేజర్.రేపో) ను రెపో సర్వర్ (మాస్టర్ 1) నుండి మిగిలిన అన్ని వర్కర్ సర్వర్uకు కాపీ చేయండి. ఈ రెపో ఫైల్ సర్వర్uలను ఇన్uస్టాల్ చేసేటప్పుడు అవసరమైన అన్ని పొట్లాలను మరియు RPM లను రెపో సర్వర్ నుండి డౌన్uలోడ్ చేస్తుందని నిర్ధారిస్తుంది.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. రెపో జోడించిన తర్వాత, క్లౌడెరా-మేనేజర్ రెపో ప్రారంభించబడిందని నిర్ధారించుకోవడానికి ప్రారంభించబడిన రిపోజిటరీలను జాబితా చేయండి.

$ yum repolist

దశ 3: వర్కర్ సర్వర్uలపై క్లౌడెరా మేనేజర్ డెమోన్స్ మరియు ఏజెంట్uను ఇన్uస్టాల్ చేయండి

6. ఇప్పుడు, మిగిలిన అన్ని సర్వర్లలో క్లౌడెరా-మేనేజర్-డెమోన్స్ మరియు క్లౌడెరా-మేనేజర్-ఏజెంట్లను వ్యవస్థాపించాలి.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. తరువాత, క్లౌడెరా మేనేజర్ సర్వర్uను నివేదించడానికి మీరు క్లౌడెరా మేనేజర్ ఏజెంట్uను కాన్ఫిగర్ చేయాలి.

$ sudo vi /etc/cloudera-scm-agent/config.ini

లోకల్ హోస్ట్uను క్లౌడెరా మేనేజర్ సర్వర్ IP చిరునామాతో భర్తీ చేయండి.

8. క్లౌడెరా మేనేజర్ ఏజెంట్uను ప్రారంభించి స్థితిని ధృవీకరించండి.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

దశ 4: CDH ని ఇన్uస్టాల్ చేసి సెటప్ చేయండి

మాస్టర్ 1 - రెపో సర్వర్uలో మాకు సిడిహెచ్ పొట్లాలు ఉన్నాయి. మీరు క్లౌడెరా మేనేజర్ ఉపయోగించి ఆటోమేటిక్ ఇన్uస్టాలేషన్uను అనుసరిస్తే అన్ని సర్వర్uలు /etc/yum.repos.d/ లో క్లౌడెరా మేనేజర్ రెపో ఫైల్uను కలిగి ఉన్నాయని నిర్ధారించుకోండి.

9. పోర్ట్ 7180 వద్ద కింది URL ను ఉపయోగించి క్లౌడెరా మేనేజర్uకు లాగిన్ అవ్వండి మరియు క్లౌడెరా మేనేజర్ యొక్క డిఫాల్ట్ యూజర్ నేమ్ మరియు పాస్uవర్డ్uను ఉపయోగించండి.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. మీరు లాగిన్ అయిన తర్వాత, మీకు స్వాగత పేజీతో స్వాగతం పలికారు. ఇక్కడ మీరు విడుదల గమనికలు, క్లౌడెరా మేనేజర్ యొక్క క్రొత్త లక్షణాలను కనుగొనవచ్చు.

11. లైసెన్స్uను అంగీకరించి కొనసాగించండి.

12. ఎడిషన్ ఎంచుకోండి. ట్రయల్ వెర్షన్ అప్రమేయంగా ఎంచుకోబడింది, మేము దానితో కొనసాగవచ్చు.

13. ఇప్పుడు, క్లస్టర్ ఇన్స్టాలేషన్ దశలను అనుసరించండి. స్వాగత పేజీని కొనసాగించండి.

14. క్లస్టర్uకు పేరు పెట్టండి మరియు కొనసాగించండి, మేము te "టెక్uమింట్" అని పేరు పెట్టాము. మీరు నిర్వచించగల 2 రకాల క్లస్టర్uలు ఉన్నాయి. మేము రెగ్యులర్ క్లస్టర్uతో ముందుకు వెళ్తున్నాము.

• రెగ్యులర్ క్లస్టర్: స్టోరేజ్ నోడ్స్, కంప్యూట్ నోడ్స్ మరియు ఇతర అవసరమైన సేవలను కలిగి ఉంటుంది.
• కంప్యూటర్ క్లస్టర్: కంప్యూట్ నోడ్uలను మాత్రమే కలిగి ఉంటుంది. డేటాను నిల్వ చేయడానికి బాహ్య నిల్వను ఉపయోగించవచ్చు.

15. మేము ఇప్పటికే అన్ని సర్వర్లలో క్లౌడెరా మేనేజర్ ఏజెంట్లను వ్యవస్థాపించాము. మీరు "" ప్రస్తుతం నిర్వహించబడుతున్న హోస్ట్uలు "లో ఆ సర్వర్uలను కనుగొనవచ్చు. ఆటోమేటిక్ ఇన్uస్టాలేషన్ కోసం, మీరు New" క్రొత్త హోస్ట్uలు "ఎంపికలో సర్వర్uల యొక్క FQDN లేదా IP ని ఎంటర్ చేసి శోధించండి. మేము సిడిహెచ్uను ఇన్uస్టాల్ చేయాల్సిన హోస్ట్uలను క్లౌడెరా మేనేజర్ స్వయంచాలకంగా కనుగొంటుంది.

ఇక్కడ, Currently "ప్రస్తుతం నిర్వహించబడుతున్న హోస్ట్uలు" క్లిక్ చేసి, ‘హోస్ట్ పేరు’ ఎంచుకోవడం ద్వారా అన్ని హోస్ట్uలను ఎంచుకుని కొనసాగించండి.

16. రిపోజిటరీని ఎంచుకోండి - పార్సెల్ ఉపయోగించడం సిఫార్సు చేయబడిన మార్గం. రిపోజిటరీని కాన్ఫిగర్ చేయడానికి ‘మరిన్ని ఎంపికలు’ క్లిక్ చేయండి.

17. క్రింద పేర్కొన్న విధంగా స్థానిక రిపోజిటరీ URL ను నమోదు చేయండి. వెబ్ (క్లౌడెరా రిపోజిటరీలు) ను సూచించే మిగిలిన అన్ని పబ్లిక్ రిపోజిటరీలను తొలగించండి.

ఇది మాస్టర్ 1 లో మేము కలిగి ఉన్న CDH స్థానిక రిపోజిటరీ URL.

http://104.211.95.96/cloudera-repos/cdh/

18. రిపోజిటరీ URL ఎంటర్ చేసిన తర్వాత, ఈ పేజీ అందుబాటులో ఉన్న పొట్లాలను మాత్రమే చూపుతుంది. ఈ దశను కొనసాగించండి.

19. ఇప్పుడు అందుబాటులో ఉన్న అన్ని సర్వర్లలో పొట్లాలను డౌన్uలోడ్ చేయడం, పంపిణీ చేయడం, అన్ప్యాక్ చేయడం మరియు సక్రియం చేయడం జరుగుతుంది.

20. సిడిహెచ్ పొట్లాలను సక్రియం చేసిన తర్వాత, క్లస్టర్uను పరిశీలించండి. ఈ దశ క్లస్టర్ యొక్క ఆరోగ్య తనిఖీని చేస్తుంది. ఇక్కడ మేము దాటవేస్తూ కొనసాగుతున్నాము.

దశ 5: క్లస్టర్ కాన్ఫిగరేషన్

21. ఇక్కడ మనం క్లస్టర్uలో ఇన్uస్టాల్ చేయాల్సిన సేవలను ఎంచుకోవాలి. కొన్ని ప్యాక్ చేసిన కలయికలు అప్రమేయంగా లభిస్తాయి, మేము అనుకూల సేవలతో వెళ్తున్నాము.

22. అనుకూల సేవల్లో, మేము ఈ డెమో ప్రయోజనం కోసం కోర్ భాగాలు (HDFS మరియు YARN) మాత్రమే ఇన్uస్టాల్ చేస్తున్నాము.

23. పాత్రలను సర్వర్uకు కేటాయించండి. మేము మా అవసరాలకు అనుగుణంగా అనుకూలీకరించవచ్చు. అధిక లభ్యతతో 5 నుండి 20 నోడ్uలతో ప్రాథమిక చిన్న క్లస్టర్ కోసం సిఫార్సు చేయబడిన పాత్ర పంపిణీని వివరించే క్రింది చార్ట్uను కనుగొనండి.

24. డేటాబేస్ రకం, హోస్ట్ పేరు, డిబి పేరు, వినియోగదారు పేరు మరియు పాస్వర్డ్ను ఎంచుకోండి. మేము ఎంబెడెడ్ పోస్ట్uగ్రెస్uస్క్యూల్uను ఉపయోగిస్తున్నందున, ఇది అప్రమేయంగా ఎంపిక చేయబడుతుంది. కనెక్షన్uను పరీక్షించండి, అది విజయవంతం కావాలి.

25. ఈ పేజీ డేటా డైరెక్టరీలతో సహా HDFS మరియు నూలు యొక్క డిఫాల్ట్ కాన్ఫిగరేషన్ పారామితులను చూపుతుంది. అన్ని కాన్ఫిగరేషన్ వివరాలను సమీక్షించండి మరియు అవసరమైతే మీరు మార్పులు చేయవచ్చు. అప్పుడు దీన్ని కొనసాగించండి.

26. ఈ పేజీ ‘ఫస్ట్ రన్’ కమాండ్ వివరాలను చూపుతుంది. నడుస్తున్న ఆదేశాల వివరాలను చూడటానికి మీరు దీన్ని విస్తరించవచ్చు. క్లస్టర్uలో ఏదైనా నెట్uవర్క్ లేదా అనుమతి సమస్యలు ఉంటే, ఈ దశ విఫలమవుతుంది. సాధారణంగా, ఈ దశ క్లస్టర్ భవనం యొక్క సున్నితమైన సంస్థాపనను నిర్ణయిస్తుంది.

27. పై దశ పూర్తయిన తర్వాత, ఇన్uస్టాలేషన్uను పూర్తి చేయడానికి ‘ముగించు’ క్లిక్ చేయండి. CDH ని ఇన్uస్టాల్ చేసిన తర్వాత ఇది క్లౌడెరా మేనేజర్ యొక్క డాష్uబోర్డ్.

http://104.211.95.96:7180/cmf/home

మేము క్లౌడెరా మేనేజర్ మరియు సిడిహెచ్ సంస్థాపనను విజయవంతంగా పూర్తి చేసాము. క్లౌడెరా మేనేజర్ డాష్uబోర్డ్uలో, మీరు క్లస్టర్ సిపియు, డిస్క్ ఐఓ మొదలైనవాటిని పర్యవేక్షించగల ముందే నిర్వచించిన చార్టులను కనుగొనవచ్చు. ఈ క్లౌడెరా మేనేజర్uను ఉపయోగించి మేము మొత్తం క్లస్టర్uను నిర్వహించవచ్చు. రాబోయే వ్యాసాలలో అన్ని పరిపాలనా కార్యకలాపాలను చూస్తాము.