ఉబుంటు/డెబియన్uలో అపాచీ స్పార్క్uను ఇన్uస్టాల్ చేసి సెటప్ చేయడం ఎలా

అపాచీ స్పార్క్ అనేది ఓపెన్-సోర్స్ డిస్ట్రిబ్యూటెడ్ కంప్యూటేషనల్ ఫ్రేమ్uవర్క్, ఇది వేగంగా గణన ఫలితాలను అందించడానికి సృష్టించబడింది. ఇది ఇన్-మెమరీ కంప్యూటేషనల్ ఇంజిన్, అంటే డేటా మెమరీలో ప్రాసెస్ చేయబడుతుంది.

స్పార్క్ స్ట్రీమింగ్, గ్రాఫ్ ప్రాసెసింగ్, SQL, MLLib కోసం వివిధ API లకు మద్దతు ఇస్తుంది. ఇది జావా, పైథాన్, స్కాలా మరియు R లను ఇష్టపడే భాషలుగా మద్దతు ఇస్తుంది. స్పార్క్ ఎక్కువగా హడూప్ క్లస్టర్uలలో ఇన్uస్టాల్ చేయబడింది, అయితే మీరు స్పార్క్uను స్వతంత్ర మోడ్uలో ఇన్uస్టాల్ చేసి కాన్ఫిగర్ చేయవచ్చు.

ఈ వ్యాసంలో, డెబియన్ మరియు ఉబుంటు ఆధారిత పంపిణీలలో అపాచీ స్పార్క్uను ఎలా ఇన్uస్టాల్ చేయాలో చూద్దాం.

ఉబుంటులో జావా మరియు స్కాలాను వ్యవస్థాపించండి

అబాచీ స్పార్క్uను ఉబుంటులో ఇన్uస్టాల్ చేయడానికి, మీరు మీ మెషీన్uలో జావా మరియు స్కాలా ఇన్uస్టాల్ చేయాలి. చాలా ఆధునిక పంపిణీలు జావాతో డిఫాల్ట్uగా ఇన్uస్టాల్ చేయబడ్డాయి మరియు మీరు ఈ క్రింది ఆదేశాన్ని ఉపయోగించి ధృవీకరించవచ్చు.

$ java -version

అవుట్పుట్ లేకపోతే, మీరు ఉబుంటులో జావాను ఎలా ఇన్స్టాల్ చేయాలో మా కథనాన్ని ఉపయోగించి జావాను ఇన్స్టాల్ చేయవచ్చు లేదా ఉబుంటు మరియు డెబియన్ ఆధారిత పంపిణీలలో జావాను ఇన్స్టాల్ చేయడానికి కింది ఆదేశాలను అమలు చేయండి.

$ sudo apt update
$ sudo apt install default-jre
$ java -version

తరువాత, మీరు స్కాలా కోసం శోధించడానికి మరియు దానిని వ్యవస్థాపించడానికి కింది ఆదేశాలను అమలు చేయడం ద్వారా apt రిపోజిటరీ నుండి Scala ని ఇన్uస్టాల్ చేయవచ్చు.

$ sudo apt search scala  ⇒ Search for the package
$ sudo apt install scala ⇒ Install the package

స్కాలా యొక్క సంస్థాపనను ధృవీకరించడానికి, కింది ఆదేశాన్ని అమలు చేయండి.

$ scala -version 

Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

ఉబుంటులో అపాచీ స్పార్క్ ఇన్uస్టాల్ చేయండి

ఇప్పుడు టెర్మినల్uలో నేరుగా ఫైల్uను డౌన్uలోడ్ చేయడానికి అధికారిక wget ఆదేశానికి వెళ్లండి.

$ wget https://apachemirror.wuchna.com/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz

ఇప్పుడు మీ టెర్మినల్ తెరిచి, మీరు డౌన్uలోడ్ చేసిన ఫైల్ ఎక్కడ ఉంచారో మరియు అపాచీ స్పార్క్ తారు ఫైల్uను సేకరించేందుకు కింది ఆదేశాన్ని అమలు చేయండి.

$ tar -xvzf spark-3.1.1-bin-hadoop2.7.tgz

చివరగా, సేకరించిన స్పార్క్ డైరెక్టరీని/ఆప్ట్ డైరెక్టరీకి తరలించండి.

$ sudo mv spark-3.1.1-bin-hadoop2.7 /opt/spark

స్పార్క్ కోసం పర్యావరణ వేరియబుల్స్ కాన్ఫిగర్ చేయండి

ఇప్పుడు మీరు స్పార్క్ ప్రారంభించే ముందు మీ. ప్రొఫైల్ ఫైల్uలో కొన్ని పర్యావరణ చరరాశులను సెట్ చేయాలి.

$ echo "export SPARK_HOME=/opt/spark" >> ~/.profile
$ echo "export PATH=$PATH:/opt/spark/bin:/opt/spark/sbin" >> ~/.profile
$ echo "export PYSPARK_PYTHON=/usr/bin/python3" >> ~/.profile

ఈ కొత్త ఎన్విరాన్మెంట్ వేరియబుల్స్ షెల్ లోపల చేరుకోగలవని మరియు అపాచీ స్పార్క్ కు అందుబాటులో ఉన్నాయని నిర్ధారించుకోవడానికి, ఇటీవలి మార్పులను అమలులోకి తీసుకురావడానికి కింది ఆదేశాన్ని అమలు చేయడం కూడా తప్పనిసరి.

$ source ~/.profile

సేవలను ప్రారంభించడానికి మరియు ఆపడానికి అన్ని స్పార్క్-సంబంధిత బైనరీలు sbin ఫోల్డర్ క్రింద ఉన్నాయి.

$ ls -l /opt/spark

ఉబుంటులో అపాచీ స్పార్క్ ప్రారంభించండి

స్పార్క్ మాస్టర్ సేవ మరియు బానిస సేవను ప్రారంభించడానికి క్రింది ఆదేశాన్ని అమలు చేయండి.

$ start-master.sh
$ start-workers.sh spark://localhost:7077

సేవ ప్రారంభమైన తర్వాత బ్రౌజర్uకు వెళ్లి క్రింది URL యాక్సెస్ స్పార్క్ పేజీని టైప్ చేయండి. పేజీ నుండి, మీరు నా యజమానిని చూడవచ్చు మరియు బానిస సేవ ప్రారంభించబడింది.

http://localhost:8080/
OR
http://127.0.0.1:8080

స్పార్క్-షెల్ ఆదేశాన్ని ప్రారంభించడం ద్వారా స్పార్క్-షెల్ బాగా పనిచేస్తుందో లేదో కూడా మీరు తనిఖీ చేయవచ్చు.

$ spark-shell

ఈ వ్యాసం కోసం అది. అతి త్వరలో మరో ఆసక్తికరమైన కథనంతో మేము మిమ్మల్ని పట్టుకుంటాము.