సెంటూస్/RHEL 7 - పార్ట్ 1 లో హడూప్ సర్వర్uను అమలు చేయడానికి ఉత్తమ పద్ధతులు
ఈ కథనాల శ్రేణిలో, మేము మొత్తం క్లౌడెరా హడూప్ క్లస్టర్ బిల్డింగ్ భవనాన్ని విక్రేత మరియు పారిశ్రామిక సిఫార్సు చేసిన ఉత్తమ పద్ధతులతో కవర్ చేయబోతున్నాము.
OS ఇన్uస్టాలేషన్ మరియు OS స్థాయి చేయడం హడూప్ క్లస్టర్uను నిర్మించడానికి మొదటి అవసరాలు. హడూప్ లైనక్స్ ప్లాట్uఫాం యొక్క వివిధ రుచిని అమలు చేయగలదు: సెంటొస్, రెడ్uహాట్, ఉబుంటు, డెబియన్, SUSE మొదలైనవి. నిజ-సమయ ఉత్పత్తిలో, చాలా హడూప్ క్లస్టర్uలు RHEL/CentOS పైన నిర్మించబడ్డాయి, మేము ప్రదర్శన కోసం CentOS 7 ని ఉపయోగిస్తాము ఈ ట్యుటోరియల్స్ సిరీస్uలో.
ఒక సంస్థలో, కిక్uస్టార్ట్ ఉపయోగించి OS ఇన్uస్టాలేషన్ చేయవచ్చు. ఇది 3 నుండి 4 నోడ్ క్లస్టర్ అయితే, మాన్యువల్ ఇన్uస్టాలేషన్ సాధ్యమే కాని మేము 10 కంటే ఎక్కువ నోడ్uలతో పెద్ద క్లస్టర్uను నిర్మిస్తే, OS ను ఒక్కొక్కటిగా ఇన్uస్టాల్ చేయడం చాలా శ్రమతో కూడుకున్నది. ఈ దృష్టాంతంలో, కిక్uస్టార్ట్ పద్ధతి చిత్రంలోకి వస్తుంది, మేము కిక్uస్టార్ట్ ఉపయోగించి మాస్ ఇన్uస్టాలేషన్uతో కొనసాగవచ్చు.
హడూప్ ఎన్విరాన్మెంట్ నుండి మంచి పనితీరును సాధించడం సరైన హార్డ్uవేర్ & సాఫ్ట్uవేర్uను అందించడం మీద ఆధారపడి ఉంటుంది. కాబట్టి, ఉత్పత్తి హడూప్ క్లస్టర్uను నిర్మించడం హార్డ్uవేర్ మరియు సాఫ్ట్uవేర్uలకు సంబంధించి చాలా పరిగణనలోకి తీసుకుంటుంది.
ఈ వ్యాసంలో, మేము OS ఇన్uస్టాలేషన్ గురించి వివిధ బెంచ్uమార్క్uల ద్వారా మరియు సెంటొస్/RHEL 7 లో క్లౌడెరా హడూప్ క్లస్టర్ సర్వర్uను అమర్చడానికి కొన్ని ఉత్తమ పద్ధతుల ద్వారా వెళ్తాము.
హడూప్ సర్వర్uను అమలు చేయడానికి ముఖ్యమైన పరిశీలన మరియు ఉత్తమ పద్ధతులు
CentOS/RHEL 7 లో క్లౌడెరా హడూప్ క్లస్టర్ సర్వర్uను అమర్చడానికి ఈ క్రింది ఉత్తమ పద్ధతులు ఉన్నాయి.
- హడూప్ సర్వర్uలకు క్లస్టర్uను నిర్మించడానికి ఎంటర్ప్రైజ్ స్టాండర్డ్ సర్వర్uలు అవసరం లేదు, దీనికి కమోడిటీ హార్డ్uవేర్ అవసరం.
- ఉత్పత్తి క్లస్టర్uలో, 8 నుండి 12 డేటా డిస్కులను కలిగి ఉండటం మంచిది. పనిభారం యొక్క స్వభావం ప్రకారం, మేము దీనిపై నిర్ణయం తీసుకోవాలి. క్లస్టర్ కంప్యూట్-ఇంటెన్సివ్ అనువర్తనాల కోసం అయితే, I/O సమస్యలను నివారించడానికి 4 నుండి 6 డ్రైవ్uలు కలిగి ఉండటం ఉత్తమ పద్ధతి.
- డేటా డ్రైవ్uలు ఒక్కొక్కటిగా విభజించబడాలి, ఉదాహరణకు -/data01 నుండి/data10 వరకు.
- వర్కర్ నోడ్uల కోసం RAID కాన్ఫిగరేషన్ సిఫారసు చేయబడలేదు, ఎందుకంటే హడూప్ డిఫాల్ట్uగా బ్లాక్uలను 3 గా ప్రతిబింబించడం ద్వారా డేటాపై తప్పు-సహనాన్ని అందిస్తుంది. కాబట్టి వర్కర్ నోడ్uలకు JBOD ఉత్తమం.
- మాస్టర్ సర్వర్uల కోసం, RAID 1 ఉత్తమ అభ్యాసం.
- CentOS/RHEL 7.x లోని డిఫాల్ట్ ఫైల్సిస్టమ్ XFS. హడూప్ XFS, ext3 మరియు ext4 కు మద్దతు ఇస్తుంది. మంచి పనితీరు కోసం పరీక్షించబడినందున సిఫార్సు చేయబడిన ఫైల్ సిస్టమ్ ext3.
- అన్ని సర్వర్లు ఒకే OS సంస్కరణను కలిగి ఉండాలి, కనీసం అదే చిన్న విడుదల.
- సజాతీయ హార్డ్uవేర్ కలిగి ఉండటం ఉత్తమ పద్ధతి (అన్ని వర్కర్ నోడ్uలలో ఒకే హార్డ్uవేర్ లక్షణాలు ఉండాలి (RAM, డిస్క్ స్పేస్ & కోర్ మొదలైనవి).
- క్లస్టర్ పనిభారం (బ్యాలెన్స్uడ్ వర్క్uలోడ్, కంప్యూట్ ఇంటెన్సివ్, ఐ/ఓ ఇంటెన్సివ్) మరియు పరిమాణం ప్రకారం, సర్వర్uకు రిసోర్స్ (ర్యామ్, సిపియు) ప్రణాళిక భిన్నంగా ఉంటుంది.
24TB నిల్వ యొక్క సర్వర్ల డిస్క్ విభజన కొరకు ఈ క్రింది ఉదాహరణను కనుగొనండి.
హడూప్ సర్వర్ విస్తరణ కోసం సెంటొస్ 7 ని ఇన్uస్టాల్ చేస్తోంది
హడూప్ సర్వర్ కోసం సెంటొస్ 7 సర్వర్uను ఇన్uస్టాల్ చేసే ముందు మీరు తెలుసుకోవలసిన విషయాలు.
- హడూప్ సర్వర్లకు (వర్కర్ నోడ్స్) కనీస సంస్థాపన సరిపోతుంది, కొన్ని సందర్భాల్లో, GUI ను మాస్టర్ సర్వర్లు లేదా మేనేజ్uమెంట్ సర్వర్uల కోసం మాత్రమే ఇన్uస్టాల్ చేయవచ్చు, ఇక్కడ మేము వెబ్ UI ల నిర్వహణ సాధనాల కోసం బ్రౌజర్uలను ఉపయోగించవచ్చు.
- నెట్uవర్క్uలు, హోస్ట్uపేరు మరియు ఇతర OS- సంబంధిత సెట్టింగులను కాన్ఫిగర్ చేయడం OS ఇన్uస్టాలేషన్ తర్వాత చేయవచ్చు.
- నిజ సమయంలో, సర్వర్ విక్రేతలు సర్వర్uలను ఇంటరాక్ట్ చేయడానికి మరియు నిర్వహించడానికి వారి స్వంత కన్సోల్uను కలిగి ఉంటారు, ఉదాహరణకు - డెల్ సర్వర్uలు iDRAC ను కలిగి ఉంటాయి, ఇది ఒక పరికరం, సర్వర్uలతో పొందుపరచబడింది. ఆ iDRAC ఇంటర్uఫేస్uను ఉపయోగించి మన స్థానిక వ్యవస్థలో OS ఇమేజ్uతో OS ని ఇన్uస్టాల్ చేయవచ్చు.
ఈ వ్యాసంలో, మేము VMware వర్చువల్ మిషన్uలో OS (CentOS 7) ను ఇన్uస్టాల్ చేసాము. ఇక్కడ, విభజనలను నిర్వహించడానికి మాకు బహుళ డిస్కులు ఉండవు. సెంటొస్ RHEL (అదే కార్యాచరణ) ను పోలి ఉంటుంది, కాబట్టి సెంటోస్uను ఇన్uస్టాల్ చేసే దశలను చూస్తాము.
1. మీ స్థానిక విండోస్ సిస్టమ్uలోని CentOS 7.x ISO ఇమేజ్uని డౌన్uలోడ్ చేయడం ద్వారా ప్రారంభించండి మరియు వర్చువల్ మిషన్uను బూట్ చేసేటప్పుడు దాన్ని ఎంచుకోండి. చూపిన విధంగా ‘సెంటొస్ 7 ఇన్uస్టాల్ చేయండి’ ఎంచుకోండి.
2. భాషను ఎంచుకోండి, డిఫాల్ట్ ఇంగ్లీష్ అవుతుంది, మరియు కొనసాగించు క్లిక్ చేయండి.
3. సాఫ్ట్uవేర్ ఎంపిక - ‘కనిష్ట సంస్థాపన’ ఎంచుకుని, ‘పూర్తయింది’ క్లిక్ చేయండి.
4. రూట్ పాస్uవర్డ్uను సెట్ చేయండి.
5. సంస్థాపన గమ్యం - జాగ్రత్తగా ఉండటానికి ఇది ముఖ్యమైన దశ. OS ను ఇన్uస్టాల్ చేయాల్సిన డిస్క్uను మనం ఎంచుకోవాలి, OS కోసం అంకితమైన డిస్క్uను ఎంచుకోవాలి. ‘ఇన్uస్టాలేషన్ డెస్టినేషన్’ క్లిక్ చేసి, డిస్క్uను ఎంచుకోండి, నిజ సమయంలో బహుళ డిస్క్uలు ఉంటాయి, మనం ఎంచుకోవాలి, ప్రాధాన్యతనిచ్చే ‘sda‘.
6. ఇతర నిల్వ ఎంపికలు -/var,/var/log,/home,/tmp,/opt,/swap వంటి OS సంబంధిత విభజనను కాన్ఫిగర్ చేయడానికి రెండవ ఎంపికను (నేను విభజనను కాన్ఫిగర్ చేస్తాను) ఎంచుకోండి.
7. పూర్తయిన తర్వాత, సంస్థాపన ప్రారంభించండి.
8. ఇన్uస్టాలేషన్ పూర్తయిన తర్వాత, సర్వర్uను రీబూట్ చేయండి.
9. సర్వర్uలోకి లాగిన్ అవ్వండి మరియు హోస్ట్ పేరు సెట్ చేయండి.
# hostnamectl status # hostnamectl set-hostname tecmint # hostnamectl status
ఈ వ్యాసంలో, మేము OS వ్యవస్థాపన దశలను మరియు ఫైల్సిస్టమ్ విభజన కోసం ఉత్తమ పద్ధతులను చూశాము. ఇవన్నీ సాధారణ మార్గదర్శకాలు, పనిభారం యొక్క స్వభావం ప్రకారం, క్లస్టర్ యొక్క ఉత్తమ పనితీరును సాధించడానికి మేము మరిన్ని సూక్ష్మ నైపుణ్యాలపై దృష్టి పెట్టాలి. హడూప్ నిర్వాహకుడికి క్లస్టర్ ప్లానింగ్ కళ. మేము తరువాతి వ్యాసంలో OS స్థాయి ముందస్తు అవసరాలు మరియు భద్రత గట్టిపడటం గురించి లోతుగా డైవ్ చేస్తాము.