విషయ సూచిక:
ప్రతి ఒక్కరూ హడూప్ గురించి మాట్లాడుతున్నారు, ఇది డెవలపర్‌లలో ఎంతో విలువైనది మరియు ప్రపంచాన్ని మార్చగలదు (మళ్ళీ). ఏమైనప్పటికీ, అది ఏమిటి? ఇది ప్రోగ్రామింగ్ భాషనా? డేటాబేస్? ప్రాసెసింగ్ సిస్టమ్? భారతీయ టీ హాయిగా ఉందా?
విస్తృత సమాధానం: హడూప్ ఈ విషయాలన్నీ (టీ హాయిగా తప్ప) మరియు మరిన్ని. ఇది సాఫ్ట్‌వేర్ లైబ్రరీ, ఇది మరొక ఆధునిక బజ్‌వర్డ్ యొక్క చౌకైన, ఉపయోగకరమైన ప్రాసెసింగ్ కోసం ప్రోగ్రామింగ్ ఫ్రేమ్‌వర్క్‌ను అందిస్తుంది: పెద్ద డేటా.
హడూప్ ఎక్కడ నుండి వచ్చారు?
అపాచీ హడూప్ అపాచీ సాఫ్ట్‌వేర్ ఫౌండేషన్ నుండి వచ్చిన ఫౌండేషన్ ప్రాజెక్ట్‌లో భాగం, ఇది లాభాపేక్షలేని సంస్థ, దీని లక్ష్యం "ప్రజల మంచి కోసం సాఫ్ట్‌వేర్‌ను అందించడం". అందుకని, హడూప్ లైబ్రరీ ఉచిత, ఓపెన్ సోర్స్ సాఫ్ట్‌వేర్ అన్ని డెవలపర్‌లకు అందుబాటులో ఉంది.
హడూప్‌కు శక్తినిచ్చే అంతర్లీన సాంకేతిక పరిజ్ఞానం వాస్తవానికి గూగుల్ కనుగొంది. ప్రారంభ రోజుల్లో, అంత పెద్దది కాని సెర్చ్ ఇంజిన్‌కు వారు ఇంటర్నెట్ నుండి సేకరిస్తున్న భారీ మొత్తంలో డేటాను సూచిక చేయడానికి మరియు దాని వినియోగదారులకు అర్ధవంతమైన, సంబంధిత ఫలితాలకు మార్చడానికి ఒక మార్గం అవసరం. వారి అవసరాలను తీర్చగల మార్కెట్లో ఏమీ అందుబాటులో లేకపోవడంతో, గూగుల్ వారి స్వంత ప్లాట్‌ఫామ్‌ను నిర్మించింది.
ఆ ఆవిష్కరణలు నచ్ అనే ఓపెన్ సోర్స్ ప్రాజెక్టులో విడుదలయ్యాయి, తరువాత హడూప్ ఒక పునాదిగా ఉపయోగించారు. ముఖ్యంగా, హడూప్ అన్ని రకాల కంపెనీలకు సరసమైన విధంగా పెద్ద డేటాను గూగుల్ యొక్క శక్తిని వర్తిస్తుంది.
హడూప్ ఎలా పని చేస్తుంది?
ఇంతకు ముందు చెప్పినట్లుగా, హడూప్ ఒక విషయం కాదు - ఇది చాలా విషయాలు. హడూప్ అయిన సాఫ్ట్‌వేర్ లైబ్రరీలో నాలుగు ప్రాధమిక భాగాలు (మాడ్యూల్స్) ఉన్నాయి మరియు దాని వాస్తవ-ప్రపంచ వినియోగాన్ని మెరుగుపరిచే అనేక యాడ్-ఆన్ పరిష్కారాలు (డేటాబేస్ మరియు ప్రోగ్రామింగ్ భాషలు వంటివి) ఉన్నాయి. నాలుగు గుణకాలు:- హడూప్ కామన్: ఇది హడూప్ మాడ్యూళ్ళకు మద్దతిచ్చే సాధారణ వినియోగాల (సాధారణ లైబ్రరీ) సేకరణ.
- హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్ (హెచ్‌డిఎఫ్‌ఎస్): నిల్వ చేసిన డేటాపై ఎటువంటి పరిమితులు లేని బలమైన పంపిణీ చేయబడిన ఫైల్ సిస్టమ్ (అనగా డేటా నిర్మాణాత్మకంగా లేదా నిర్మాణాత్మకంగా మరియు స్కీమలెస్‌గా ఉంటుంది, ఇక్కడ చాలా డిఎఫ్‌ఎస్‌లు నిర్మాణాత్మక డేటాను మాత్రమే నిల్వ చేస్తాయి) ఇది రిడెండెన్సీతో అధిక-నిర్గమాంశ ప్రాప్యతను అందిస్తుంది ( బహుళ యంత్రాలలో డేటాను నిల్వ చేయడానికి HDFS అనుమతిస్తుంది - కాబట్టి ఒక యంత్రం విఫలమైతే, లభ్యత ఇతర యంత్రాల ద్వారా నిర్వహించబడుతుంది).
- హడూప్ యార్న్: ఈ ఫ్రేమ్‌వర్క్ ఉద్యోగ షెడ్యూలింగ్ మరియు క్లస్టర్ రిసోర్స్ మేనేజ్‌మెంట్‌కు బాధ్యత వహిస్తుంది; పునరావృతతను నిర్వహించడానికి డేటా బహుళ యంత్రాలపై తగినంతగా విస్తరించిందని ఇది నిర్ధారిస్తుంది. పెద్ద డేటాను ప్రాసెస్ చేయడానికి హడూప్ సరసమైన మరియు ఖర్చుతో కూడుకున్న మార్గంగా మార్చుకునే మాడ్యూల్ YARN.
- హడూప్ మ్యాప్‌రెడ్యూస్: గూగుల్ టెక్నాలజీపై నిర్మించిన ఈ YARN- ఆధారిత వ్యవస్థ, పెద్ద డేటా సెట్‌ల (నిర్మాణాత్మక మరియు నిర్మాణాత్మక) సమాంతర ప్రాసెసింగ్‌ను నిర్వహిస్తుంది. MPP మరియు NoSQL డేటాబేస్‌లతో సహా నేటి పెద్ద డేటా ప్రాసెసింగ్ ఫ్రేమ్‌వర్క్‌లలో కూడా మ్యాప్‌రెడ్యూస్ చూడవచ్చు.
పెద్ద డేటాతో పనిచేయడానికి అవసరమైన ప్రాసెసింగ్ శక్తిని నిర్వహించగల హార్డ్‌వేర్ ఖరీదైనది, తేలికగా చెప్పాలంటే. ఇది హడూప్ యొక్క నిజమైన ఆవిష్కరణ: బహుళ, చిన్న యంత్రాలలో భారీ మొత్తంలో ప్రాసెసింగ్ శక్తిని విచ్ఛిన్నం చేసే సామర్థ్యం, ప్రతి దాని స్వంత స్థానికీకరించిన గణన మరియు నిల్వతో పాటు, వైఫల్యాలను నివారించడానికి అప్లికేషన్ స్థాయిలో అంతర్నిర్మిత పునరావృతంతో పాటు.
హడూప్ ఏమి చేస్తుంది?
సరళంగా చెప్పాలంటే, హడూప్ పెద్ద డేటాను ప్రాప్యత చేస్తుంది మరియు అందరికీ ఉపయోగపడేలా చేస్తుంది.
హడూప్‌కు ముందు, పెద్ద డేటాను ఉపయోగిస్తున్న కంపెనీలు ఎక్కువగా రిలేషనల్ డేటాబేస్‌లు మరియు ఎంటర్ప్రైజ్ డేటా గిడ్డంగులతో (ఇవి భారీ మొత్తంలో ఖరీదైన హార్డ్‌వేర్‌ను ఉపయోగిస్తాయి) చేశాయి. నిర్మాణాత్మక డేటాను ప్రాసెస్ చేయడానికి ఈ సాధనాలు గొప్పవి అయినప్పటికీ - ఇది ఇప్పటికే క్రమబద్ధీకరించబడిన మరియు నిర్వహించదగిన విధంగా నిర్వహించబడిన డేటా - నిర్మాణాత్మక డేటాను ప్రాసెస్ చేసే సామర్థ్యం చాలా పరిమితం, ఇది ఆచరణాత్మకంగా ఉనికిలో లేదు. ఉపయోగపడేలా ఉండటానికి, డేటా మొదట నిర్మాణాత్మకంగా ఉండాలి కాబట్టి ఇది పట్టికలలో చక్కగా సరిపోతుంది.
హడూప్ ఫ్రేమ్‌వర్క్ ఆ అవసరాన్ని మారుస్తుంది మరియు చౌకగా చేస్తుంది. హడూప్‌తో, నిర్మాణాత్మక మరియు నిర్మాణాత్మకమైన 10 నుండి 100 గిగాబైట్ల మరియు అంతకంటే ఎక్కువ డేటాను సాధారణ (కమోడిటీ) సర్వర్‌లను ఉపయోగించి ప్రాసెస్ చేయవచ్చు.
హడూప్ ప్రతి పరిశ్రమలో, అన్ని పరిమాణాల వ్యాపారాల కోసం పెద్ద డేటా అనువర్తనాలను తెస్తుంది. పోర్ట్‌ఫోలియో మూల్యాంకనం మరియు రిస్క్ విశ్లేషణ కోసం అధునాతన నమూనాలను రూపొందించడానికి ఓపెన్-సోర్స్ ఫ్రేమ్‌వర్క్ లేదా ఆన్‌లైన్ రిటైలర్లు వారి శోధన సమాధానాలను చక్కగా తీర్చిదిద్దడానికి మరియు వినియోగదారులను వారు కొనుగోలు చేసే ఉత్పత్తుల వైపు చూపించడానికి అనుమతిస్తుంది.
హడూప్‌తో, అవకాశాలు నిజంగా అపరిమితమైనవి.
