అపాచీ అందులో నివశించే తేనెటీగలు మరియు పందికి సంక్షిప్త పరిచయం

అపాచీ హైవ్ అనేది హడూప్‌లోని డేటాపై తాత్కాలిక ప్రశ్నలు చేయడానికి హడూప్ పైన కూర్చున్న ఫ్రేమ్‌వర్క్. అందులో నివశించే తేనెటీగలు SQL కి సమానమైన HiveQL కి మద్దతు ఇస్తుంది, కానీ SQL యొక్క పూర్తి నిర్మాణాలకు మద్దతు ఇవ్వదు.

అందులో నివశించే తేనెటీగలు జావా మ్యాప్‌రెడ్యూస్ ప్రోగ్రామ్‌లోకి హైవ్‌క్యూఎల్ ప్రశ్నను కవర్ చేసి, ఆపై దాన్ని హడూప్ క్లస్టర్‌కు సమర్పిస్తుంది. HiveQL మరియు Java MapReduce ఉపయోగించి అదే ఫలితాన్ని సాధించవచ్చు, కానీ జావా మ్యాప్‌రెడ్యూస్‌ను ఉపయోగించడం వలన HiveQL తో పోలిస్తే చాలా కోడ్ రాయడం / డీబగ్ చేయడం అవసరం. కాబట్టి, HiveQL డెవలపర్ ఉత్పాదకతను పెంచుతుంది.

సంగ్రహంగా చెప్పాలంటే, హైవ్, హైవ్‌క్యూఎల్ భాష ద్వారా, జావా మ్యాప్‌రెడ్యూస్ ప్రోగ్రామింగ్‌పై ఉన్నత స్థాయి సంగ్రహణను అందిస్తుంది. ఏ ఇతర ఉన్నత స్థాయి సంగ్రహణ మాదిరిగానే, జావా మ్యాప్‌రెడ్యూస్‌తో పోల్చినప్పుడు హైవ్‌క్యూఎల్‌ను ఉపయోగించి పనితీరు ఓవర్‌హెడ్ ఉంటుంది, అయితే హైవ్ కమ్యూనిటీ సాధారణంగా ఉపయోగించే చాలా సందర్భాలలో ఈ అంతరాన్ని తగ్గించడానికి కృషి చేస్తోంది.

అదే రేఖ వెంట, పిగ్ మ్యాప్‌రెడ్యూస్‌పై అధిక స్థాయి సంగ్రహణను అందిస్తుంది. పిగ్ పిగ్లాటిన్ నిర్మాణాలకు మద్దతు ఇస్తుంది, ఇవి జావా మ్యాప్‌రెడ్యూస్ ప్రోగ్రామ్‌గా మార్చబడతాయి మరియు తరువాత హడూప్ క్లస్టర్‌కు సమర్పించబడతాయి.

HiveQL అనేది SQL వంటి డిక్లరేటివ్ లాంగ్వేజ్ అయితే, పిగ్లాటిన్ డేటా ఫ్లో లాంగ్వేజ్. ఒక పిగ్లాటిన్ నిర్మాణం యొక్క అవుట్పుట్ మరొక పిగ్లాటిన్ నిర్మాణానికి ఇన్పుట్గా పంపబడుతుంది.

కొంతకాలం క్రితం, క్లౌడెరా ఒక సాధారణ హడూప్ క్లస్టర్‌లో పనిభారం గురించి గణాంకాలను ప్రచురించింది మరియు పిగ్ మరియు హైవ్ ఉద్యోగాలు హడూప్ క్లస్టర్‌లోని ఉద్యోగాలలో మంచి భాగాన్ని కలిగి ఉన్నాయని సులభంగా గమనించవచ్చు. అధిక డెవలపర్ ఉత్పాదకత కారణంగా, చాలా కంపెనీలు పిగ్ మరియు హైవ్ వంటి ఉన్నత స్థాయి సంగ్రహాలను ఎంచుకుంటున్నాయి. కాబట్టి, మ్యాప్‌రెడ్యూస్ అభివృద్ధితో పోల్చినప్పుడు హైవ్ మరియు పిగ్ చుట్టూ చాలా ఉద్యోగ అవకాశాలు ఉంటాయని మేము పందెం వేయవచ్చు.

ప్రోగ్రామింగ్ పిగ్ పుస్తకం అక్టోబర్ 2011 లో ప్రచురించబడినప్పటికీ, ప్రోగ్రామింగ్ హైవ్ పుస్తకం ఇటీవల, అక్టోబర్ 2012 లో ప్రచురించబడింది. ఆర్డిబిఎంఎస్‌తో పనిచేసిన అనుభవం ఉన్నవారికి, హైవ్‌తో ప్రారంభించడం పిగ్‌తో ప్రారంభించడం కంటే మంచి ఎంపిక. పిగ్లాటిన్ భాష ప్రారంభించడం చాలా కష్టం కాదని కూడా గమనించండి.

అంతర్లీన హడూప్ క్లస్టర్ కోసం, జావా మ్యాప్‌రెడ్యూస్ ఉద్యోగం సమర్పించబడిందా లేదా హైవ్ మరియు పిగ్ ద్వారా మ్యాప్‌రెడ్యూస్ ఉద్యోగం సమర్పించబడిందా అనేది పారదర్శకంగా ఉంటుంది. మ్యాప్‌రెడ్యూస్ ఉద్యోగాల బ్యాచ్ ఓరియెంటెడ్ స్వభావం కారణంగా, హైవ్ మరియు పిగ్ ద్వారా సమర్పించిన ఉద్యోగాలు కూడా ప్రకృతిలో బ్యాచ్ ఆధారితమైనవి.

రియల్ టైమ్ స్పందన అవసరాల కోసం, మ్యాప్ రిడ్యూస్ ఉద్యోగాల గురించి ముందుగా పేర్కొన్న బ్యాచ్ ఆధారిత స్వభావం కారణంగా హైవ్ మరియు పిగ్ అవసరాలను తీర్చలేదు. క్లౌడెరా ఇంపాలాను అభివృద్ధి చేసింది, ఇది హడూప్ పైన ఇంటరాక్టివ్ తాత్కాలిక ప్రశ్నల కోసం డ్రేమెల్ (గూగుల్ నుండి ప్రచురణ) పై ఆధారపడింది. ఇంపాలా SQL లాంటి ప్రశ్నలకు మద్దతు ఇస్తుంది మరియు HiveQL కి అనుకూలంగా ఉంటుంది. కాబట్టి, అందులో నివశించే తేనెటీగలు పైన నిర్మించిన ఏదైనా అనువర్తనాలు ఇంపాలాతో కనీస మార్పులతో పనిచేయాలి. అందులో నివశించే తేనెటీగలు మరియు ఇంపాలా మధ్య ఉన్న ప్రధాన వ్యత్యాసం ఏమిటంటే, హైవ్‌క్యూల్‌ను జావా మ్యాప్‌రెడ్యూస్ ఉద్యోగాలుగా మార్చినప్పటికీ, ఇంపాలా SQL ప్రశ్నను జావా మ్యాప్‌రెడ్యూస్ ఉద్యోగాల్లోకి రప్పించదు.

మీరు ఒక నిర్దిష్ట అవసరం కోసం పిగ్ లేదా అందులో నివశించే తేనెటీగలతో వెళ్లాలా? ఇది మరొక బ్లాగుకు సంబంధించిన అంశం.

ప్రవీణ్ శ్రీపతి అనుమతితో తిరిగి ప్రచురించబడింది. అసలు కథనాన్ని ఇక్కడ చూడవచ్చు: http://www.thecloudavenue.com/2012/12/introduction-to-apache-hive-and-pig.html