అధిక లభ్యతతో అందులో నివశించే తేనెటీగలు ఎలా వ్యవస్థాపించాలి మరియు ఆకృతీకరించాలి - పార్ట్ 7
హడూప్ ఎకో-సిస్టంలో డేటా వేర్uహౌస్ మోడల్. ఇది హడూప్ పైన ETL సాధనంగా పని చేస్తుంది. హైవ్uలో హై ఎవైలబిలిటీ (హెచ్uఏ) ను ప్రారంభించడం రిసోర్స్ మేనేజర్ వంటి మాస్టర్ సర్వీసెస్uలో మాదిరిగానే ఉండదు.
హైవ్ (హైవ్uసర్వర్ 2) లో ఆటోమేటిక్ ఫెయిల్ఓవర్ జరగదు. ఏదైనా హైవ్uసర్వర్ 2 (హెచ్uఎస్ 2) విఫలమైతే, ఆ విఫలమైన హెచ్uఎస్u 2 పై ఉద్యోగాలు నడపడం విఫలమవుతుంది. మేము ఉద్యోగం తిరిగి సమర్పించాల్సిన అవసరం ఉంది, తద్వారా ఉద్యోగం ఇతర హైవ్ సర్వర్ 2 లో నడుస్తుంది. కాబట్టి, HS2 పై HA ని ప్రారంభించడం మరేమీ కాదు, క్లస్టర్uలో HS2 భాగాల సంఖ్యను పెంచుతుంది.
ఈ వ్యాసంలో, అందులో నివశించే తేనెటీగలు యొక్క అధిక లభ్యతను వ్యవస్థాపించడానికి మరియు ప్రారంభించడానికి దశలను చూస్తాము.
- సెంటూస్/RHEL 7 - పార్ట్ 1 లో హడూప్ సర్వర్uను అమలు చేయడానికి ఉత్తమ పద్ధతులు
- హడూప్ ప్రీ-ఆవశ్యకతలను మరియు భద్రతా గట్టిపడటాన్ని ఏర్పాటు చేయడం - పార్ట్ 2
- CentOS/RHEL 7 - పార్ట్ 3 లో క్లౌడెరా మేనేజర్uను ఎలా ఇన్uస్టాల్ చేయాలి మరియు కాన్ఫిగర్ చేయాలి
- సెంటొస్/ఆర్uహెచ్uఎల్ 7 - సిడిహెచ్uను ఇన్uస్టాల్ చేయడం మరియు సేవా నియామకాలను ఎలా కాన్ఫిగర్ చేయాలి - పార్ట్ 4
- నేమ్నోడ్ కోసం అధిక లభ్యతను ఎలా ఏర్పాటు చేయాలి - పార్ట్ 5
- రిసోర్స్ మేనేజర్ కోసం అధిక లభ్యతను ఎలా సెటప్ చేయాలి - పార్ట్ 6
ప్రారంభిద్దాం…
అందులో నివశించే తేనెటీగలు సంస్థాపన మరియు ఆకృతీకరణ
1. దిగువ URL వద్ద క్లౌడెరా మేనేజర్uకు లాగిన్ అవ్వండి మరియు క్లౌడెరా మేనేజర్uకు నావిగేట్ చేయండి -> సేవను జోడించు.
http://13.233.129.39:7180/cmf/home
2. ‘అందులో నివశించే తేనెటీగలు’ సేవను ఎంచుకోండి.
3. నోడ్uలలో సేవలను కేటాయించండి.
- గేట్uవే - ఇది వినియోగదారు హైవ్uను యాక్సెస్ చేయగల క్లయింట్ సేవ. సాధారణంగా, ఈ సేవ వినియోగదారులకు అంకితమైన ఎడ్జ్ నోడ్స్uలో ఉంచబడుతుంది.
- అందులో నివశించే తేనెటీగలు మెటాస్టోర్ - అందులో నివశించే తేనెటీగలు మెటాడేటాను నిల్వ చేయడానికి ఇది కేంద్ర రిపోజిటరీ.
- వెబ్uహెచ్uక్యాట్ సర్వర్ - ఇది హెచ్uకాటలాగ్ మరియు ఇతర హడూప్ సేవలకు వెబ్ API.
- హైవ్uసర్వర్ 2 - ఇది అందులో నివశించే తేనెటీగపై ప్రశ్న అమలు కోసం ఖాతాదారుల ఇంటర్uఫేస్.
సర్వర్uలను ఎంచుకున్న తర్వాత, కొనసాగడానికి ‘కొనసాగించు’ క్లిక్ చేయండి.
4. హైవ్ మెటాస్టోర్uకు మెటాడేటాను నిల్వ చేయడానికి అంతర్లీన డేటాబేస్ అవసరం. ఇక్కడ మేము CDH తో అంతర్నిర్మితమైన డిఫాల్ట్ PostgreSQL డేటాబేస్ను ఉపయోగిస్తున్నాము.
పేర్కొన్న డేటాబేస్ వివరాలు క్రింద స్వయంచాలకంగా నమోదు చేయబడతాయి, పేర్కొన్న డేటాబేస్ ఫ్లైలో సృష్టించబడుతుంది కాబట్టి ‘టెస్ట్ కనెక్షన్’ దాటవేయబడుతుంది. నిజ సమయంలో, మేము బాహ్య డేటాబేస్లో డేటాబేస్ను సృష్టించాలి మరియు మరింత ముందుకు వెళ్ళడానికి కనెక్షన్ను పరీక్షించాలి. పూర్తయిన తర్వాత, దయచేసి ‘కొనసాగించు’ క్లిక్ చేయండి.
5. హైవ్ వేర్uహౌస్ డైరెక్టరీని కాన్ఫిగర్ చేయండి,/యూజర్/అందులో నివశించే తేనెటీగలు/గిడ్డంగి అందులో నివశించే తేనెటీగ పట్టికలను నిల్వ చేయడానికి డిఫాల్ట్ డైరెక్టరీ మార్గం. ‘కొనసాగించు’ క్లిక్ చేయండి.
6. అందులో నివశించే తేనెటీగలు యొక్క సంస్థాపన ప్రారంభించబడింది.
7. సంస్థాపన పూర్తయిన తర్వాత, మీరు ‘పూర్తయిన’ స్థితిని పొందవచ్చు. మరింత కొనసాగడానికి ‘కొనసాగించు’ క్లిక్ చేయండి.
8. అందులో నివశించే తేనెటీగలు సంస్థాపన మరియు ఆకృతీకరణ విజయవంతంగా పూర్తయింది. ఇన్స్టాలేషన్ విధానాన్ని పూర్తి చేయడానికి ‘ముగించు’ క్లిక్ చేయండి.
9. క్లౌడెరా మేనేజర్ డాష్uబోర్డ్ ద్వారా క్లస్టర్uలో జోడించిన హైవ్ సేవను మీరు చూడవచ్చు.
10. మీరు హైవ్ సర్వర్ 2 ను ఇన్uస్టాన్స్ ఆఫ్ హైవ్uలో చూడవచ్చు. మేము మాస్టర్ 1 లో హైవ్uసర్వర్ 2 ని జోడించాము.
క్లౌడెరా మేనేజర్ -> అందులో నివశించే తేనెటీగలు -> ఉదంతాలు -> హైవ్uసర్వర్ 2.
అందులో నివశించే తేనెటీగలు అధిక లభ్యతను ప్రారంభిస్తాయి
11. తరువాత క్లౌడెరా మేనేజర్ -> అందులో నివశించే తేనెటీగలు -> చర్యలు -> పాత్ర ఉదాహరణలను జోడించండి.
12. మీరు అదనపు హైవ్uసర్వర్ 2 ను ఉంచాలనుకునే సర్వర్uలను ఎంచుకోండి. మీరు రెండు కంటే ఎక్కువ జోడించవచ్చు, పరిమితి లేదు. ఇక్కడ మేము మాస్టర్ 2 లో అదనపు ఒక హైవ్సర్వర్ 2 ని జతచేస్తున్నాము.
13. సర్వర్uను ఎంచుకున్న తర్వాత, ‘కొనసాగించు’ క్లిక్ చేయండి.
14. హైవర్uసర్వర్ 2 అందులో నివశించే తేనెటీగలలో చేర్చబడుతుంది, మీరు క్లౌడెరా మేనేజర్ -> అందులో నివశించే తేనెటీగలు -> ఉదంతాలు -> (కొత్తగా జోడించిన హైవర్uసర్వర్ 2 ఎంచుకోండి) -> ఎంచుకున్న చర్య -> ప్రారంభానికి వెళ్లడం ద్వారా దీన్ని ప్రారంభించాలి.
15. మాస్టర్ 2 లో హైవ్uసర్వర్ 2 ప్రారంభమైన తర్వాత, మీకు ‘పూర్తయింది’ హోదా లభిస్తుంది. మూసివేయి క్లిక్ చేయండి.
16. మీరు చూడవచ్చు, హైవ్uసర్వర్ 2 లు రెండూ నడుస్తున్నాయి.
అందులో నివశించే తేనెటీగ లభ్యతను ధృవీకరిస్తోంది
మేము హైవ్uసర్వర్ 2 ను సన్నని క్లయింట్ మరియు కమాండ్-లైన్ అయిన బీలైన్ ద్వారా కనెక్ట్ చేయవచ్చు. ఇది కనెక్షన్uను స్థాపించడానికి JDBC డ్రైవర్uను ఉపయోగిస్తుంది.
17. హైవ్ గేట్uవే నడుస్తున్న సర్వర్uకు లాగిన్ అవ్వండి.
[[email ~]$ beeline
18. హైవ్uసర్వర్ 2 ని కనెక్ట్ చేయడానికి జెడిబిసి కనెక్షన్ స్ట్రింగ్uను నమోదు చేయండి. ఈ కనెక్షన్uలో, మేము దాని డిఫాల్ట్ పోర్ట్ నంబర్ 10000 తో హివర్uసర్వర్ 2 (మాస్టర్ 2) గురించి ప్రస్తావిస్తున్నాము. ఈ కనెక్షన్ స్ట్రింగ్ మాస్టర్ 2 లో నడుస్తున్న హైవ్uసర్వర్ 2 కి మాత్రమే కనెక్ట్ అవుతుంది.
beeline> !connect "jdbc:hive2://master1.linux-console.net:10000"
19. నమూనా ప్రశ్నను అమలు చేయండి.
0: jdbc:hive2://master1.linux-console.net:10000> show databases;
ఇది అంతర్నిర్మితంగా వచ్చే డిఫాల్ట్ డేటాబేస్.
20. హైవ్ సెషన్uను ముగించడానికి క్రింది ఆదేశాన్ని ఉపయోగించండి.
0: jdbc:hive2://master1.linux-console.net:10000> !quit
21. మాస్టర్ 2 లో నడుస్తున్న హైవ్uసర్వర్ 2 ను కనెక్ట్ చేయడానికి మీరు అదే విధంగా ఉపయోగించవచ్చు.
beeline> !connect "jdbc:hive2://master2.linux-console.net:10000"
23. మేము జూకీపర్ డిస్కవరీ మోడ్uలో హైవ్uసర్వర్ 2 ని కనెక్ట్ చేయవచ్చు. ఈ పద్ధతిలో, కనెక్షన్ స్ట్రింగ్uలో మేము హైవ్uసర్వర్ 2 ను ప్రస్తావించాల్సిన అవసరం లేదు, బదులుగా అందుబాటులో ఉన్న హైవ్uసర్వర్ 2 ను కనుగొనటానికి మేము జూకీపర్uను ఉపయోగిస్తున్నాము.
అందుబాటులో ఉన్న హివర్uసర్వర్ 2 మధ్య లోడ్uను సమతుల్యం చేయడానికి ఇక్కడ మేము మూడవ పార్టీ లోడ్ బ్యాలెన్సర్uను ఉపయోగించవచ్చు. క్లౌడెరా మేనేజర్ -> అందులో నివశించే తేనెటీగలు -> కాన్ఫిగరేషన్uకు వెళ్లడం ద్వారా జూకీపర్ డిస్కవరీ మోడ్uను ప్రారంభ కాన్ఫిగరేషన్ అవసరం.
24. తరువాత, ఆస్తిని H "హైవ్ సర్వర్ 2 అడ్వాన్స్uడ్ కాన్ఫిగరేషన్ స్నిప్పెట్" లో శోధించండి మరియు దిగువ ఆస్తిని జోడించడానికి + గుర్తుపై క్లిక్ చేయండి.
Name : hive.server2.support.dynamic.service.discovery Value : true Description : <any description>
25. ఆస్తిలో ప్రవేశించిన తర్వాత, ‘మార్పులను సేవ్ చేయి’ క్లిక్ చేయండి.
26. మేము కాన్ఫిగరేషన్uలో మార్పులు చేసినందున, సేవలను పున art ప్రారంభించడానికి ఆరెంజ్ కలర్ సింబల్uపై క్లిక్ చేయడం ద్వారా ప్రభావిత సేవలను పున art ప్రారంభించాలి.
27. ‘పాత పున Rest ప్రారంభించు’ సేవలను క్లిక్ చేయండి.
28. రెండు ఎంపికలు అందుబాటులో ఉన్నాయి. క్లస్టర్ ప్రత్యక్ష ఉత్పత్తిలో ఉంటే, అంతరాయాన్ని తగ్గించడానికి మేము రోలింగ్ పున art ప్రారంభానికి ప్రాధాన్యత ఇవ్వాలి. మేము క్రొత్తగా ఇన్uస్టాల్ చేస్తున్నప్పుడు, రెండవ ఎంపికను ‘క్లయింట్ కాన్ఫిగరేషన్uను తిరిగి అమర్చండి’ ఎంచుకోవచ్చు మరియు ‘ఇప్పుడే పున art ప్రారంభించండి’ క్లిక్ చేయండి.
29. పున art ప్రారంభం విజయవంతంగా పూర్తయిన తర్వాత, మీరు ‘పూర్తయింది’ స్థితిని పొందుతారు. ప్రక్రియను పూర్తి చేయడానికి ‘ముగించు’ క్లిక్ చేయండి.
30. ఇప్పుడు మనం జూకీపర్ డిస్కవరీ మోడ్uను ఉపయోగించి హైవ్uసర్వర్ 2 ని కనెక్ట్ చేస్తాము. జెడిబిసి కనెక్షన్uలో, మేము దాని పోర్ట్ నంబర్ 2081 తో జూకీపర్ సర్వర్uలను ఉపయోగించాల్సిన అవసరం ఉంది. క్లౌడెరా మేనేజర్ -> జూకీపర్ -> ఉదంతాలు -> (సర్వర్ పేర్లను గమనించండి) కు వెళ్లి జూకీపర్ సర్వర్uలను సేకరించండి.
జూకీపర్ ఉన్న మూడు సర్వర్లు ఇవి, 2181 పోర్ట్ సంఖ్య.
master1.linux-console.net:2181 master2.linux-console.net:2181 worker1.linux-console.net:2181
31. ఇప్పుడు బీలైన్లోకి ప్రవేశించండి.
[[email ~]$ beeline
32. క్రింద పేర్కొన్న విధంగా JDBC కనెక్షన్ స్ట్రింగ్uను నమోదు చేయండి. మేము సర్వీస్ డిస్కవరీ మోడ్ మరియు జూకీపర్ నేమ్uస్పేస్ గురించి చెప్పాలి. ‘హైవ్uసర్వర్ 2’ అనేది హైవ్uసర్వర్ 2 యొక్క డిఫాల్ట్ నేమ్uస్పేస్.
beeline>!connect "jdbc:hive2://master1.linux-console.net:2181,master2.linux-console.net:2181,worker1.linux-console.net:2181/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2"
33. ఇప్పుడు సెషన్ మాస్టర్ 1 లో నడుస్తున్న హైవ్uసర్వర్ 2 కి కనెక్ట్ చేయబడింది. ధృవీకరించడానికి నమూనా ప్రశ్నను అమలు చేయండి. డేటాబేస్ సృష్టించడానికి క్రింది ఆదేశాన్ని ఉపయోగించండి.
0: jdbc:hive2://master1.linux-console.net:2181,mast> create database tecmint;
34. డేటాబేస్ జాబితా చేయడానికి క్రింది ఆదేశాన్ని ఉపయోగించండి.
0: jdbc:hive2://master1.linux-console.net:2181,mast> show databases;
35. ఇప్పుడు మేము జూకీపర్ డిస్కవరీ మోడ్uలో అధిక లభ్యతను ధృవీకరిస్తాము. క్లౌడెరా మేనేజర్uకు వెళ్లి, మేము పైన పరీక్షించిన మాస్టర్ 1 లో హైవ్uసర్వర్ 2 ని ఆపండి.
క్లౌడెరా మేనేజర్ -> అందులో నివశించే తేనెటీగలు -> ఉదంతాలు -> (మాస్టర్ 1 లో హైవ్uసర్వర్ 2 ఎంచుకోండి) -> ఎంచుకున్న చర్య -> ఆపు.
36. ‘ఆపు’ క్లిక్ చేయండి. ఆగిపోయిన తర్వాత, మీకు ‘పూర్తయింది’ హోదా లభిస్తుంది. అందులో నివశించే తేనెటీగలు -> ఉదంతాలకు నావిగేట్ చేయడం ద్వారా మాస్టర్ 1 పై హైవ్uసర్వర్ 2 ను ధృవీకరించండి.
37. పై దశల్లో మేము చేసినట్లుగా జూకీపర్ డిస్కవరీ మోడ్uతో అదే జెడిబిసి కనెక్షన్ స్ట్రింగ్uను ఉపయోగించి బీవ్uలైన్uలోకి ప్రవేశించి హైవ్uసర్వర్ 2 ని కనెక్ట్ చేయండి.
[[email ~]$ beeline beeline>!connect "jdbc:hive2://master1.linux-console.net:2181,master2.linux-console.net:2181,worker1.linux-console.net:2181/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2"
ఇప్పుడు మీరు మాస్టర్ 2 లో నడుస్తున్న హైవ్uసర్వర్ 2 కి కనెక్ట్ అవుతారు.
38. నమూనా ప్రశ్నతో ధృవీకరించండి.
0: jdbc:hive2://master1.linux-console.net:2181,mast> show databases;
ఈ వ్యాసంలో, హై క్లైవర్ విత్ హై ఎవైలబిలిటీలో హైవ్ డేటా వేర్uహౌస్ మోడల్uను కలిగి ఉండటానికి మేము వివరణాత్మక దశల ద్వారా వెళ్ళాము. నిజ-సమయ ఉత్పత్తి వాతావరణంలో, జూకీపర్ డిస్కవరీ మోడ్ ప్రారంభించబడిన మూడు కంటే ఎక్కువ హైవ్uసర్వర్ 2 ఉంచబడుతుంది.
ఇక్కడ, అన్ని హైవ్uసర్వర్ 2 లు జూకీపర్uతో సాధారణ నేమ్uస్పేస్ క్రింద నమోదు అవుతున్నాయి. జూకీపర్ డైనమిక్uగా అందుబాటులో ఉన్న హైవ్uసర్వర్ 2 ను కనుగొని హైవ్ సెషన్uను ఏర్పాటు చేస్తాడు.