Q:
పెద్ద డేటా పర్యావరణ వ్యవస్థ పెరగడానికి ఏ పరిస్థితులు దారితీశాయి?
A:నేటి పెద్ద డేటా పర్యావరణ వ్యవస్థ యొక్క ఆవిర్భావానికి దోహదపడే అనేక అంశాలు ఉన్నాయి, అయితే పెద్ద డేటా ఉనికిలో ఉండటానికి అనుమతించే హార్డ్‌వేర్ మరియు సాఫ్ట్‌వేర్ డిజైన్ల శ్రేణి కారణంగా పెద్ద డేటా వచ్చింది అనే సాధారణ ఏకాభిప్రాయం ఉంది.
| వెబ్నార్: బిగ్ ఐరన్, మీట్ బిగ్ డేటా: హడూప్ & స్పార్క్ తో మెయిన్ఫ్రేమ్ డేటాను విముక్తి చేయడం ఇక్కడ నమోదు చేయండి |
పెద్ద డేటా యొక్క సాంప్రదాయిక నిర్వచనం ఈ క్రింది విధంగా ఉంది: తగినంత పెద్ద మరియు సంక్లిష్టమైన డేటా సెట్లు అవి సులభంగా పునరుక్తి నిర్వహణను లేదా చేతితో నిర్వహణను ధిక్కరిస్తాయి. పెద్ద డేటా సెట్లు తరచూ డేటాబేస్ నెట్‌వర్క్‌గా సరిపోని డేటా సెట్లుగా గుర్తించబడతాయి, ఎందుకంటే వాటి విశ్లేషణకు డేటాను నిర్వహించే సర్వర్‌ల భాగంలో ఎక్కువ పని అవసరం.
దీన్ని దృష్టిలో ఉంచుకుని, పెద్ద డేటాను సృష్టించిన వాటిలో ప్రధాన భాగం మూర్ యొక్క చట్టం, లేదా ప్రతి రెండు సంవత్సరాలకు ఒక సర్క్యూట్లో ట్రాన్సిస్టర్‌లను రెట్టింపు చేయడం, చిన్న హార్డ్‌వేర్ మరియు డేటా నిల్వ పరికరాలను సృష్టించడం (అలాగే మరింత శక్తివంతమైన మైక్రోప్రాసెసర్‌లు) . మూర్ యొక్క చట్టంతో కలిసి, మరియు బహుశా దాని కారణంగా, ప్రాప్యత చేయగల సాఫ్ట్‌వేర్ వ్యవస్థల యొక్క కంప్యూటింగ్ సామర్థ్యం పెరుగుతూనే ఉంది, వ్యక్తిగత కంప్యూటర్లు కూడా చాలా ఎక్కువ మొత్తంలో డేటాను నిర్వహించగలవు, మరియు వ్యాపార మరియు వాన్గార్డ్ వ్యవస్థలు డేటా పరిమాణాలను నిర్వహించగలవు. చాలా సంవత్సరాల ముందు మాత్రమే on హించలేము. వ్యక్తిగత వ్యవస్థలు వినియోగదారులకు పారదర్శకంగా ఉండే ఈ ప్రక్రియలో కిలోబైట్ల నుండి మెగాబైట్లకు, ఆపై గిగాబైట్లకు మారాయి. వాన్గార్డ్ వ్యవస్థలు గిగాబైట్ల నుండి టెరాబైట్లు మరియు పెటాబైట్లకు, మరియు జీటాబైట్ల వంటి మాగ్నిట్యూడ్ ఆర్డర్‌లకు, సగటు పౌరుడికి చాలా తక్కువ పారదర్శకంగా ఉండే మార్గాల్లోకి మారాయి.
పెద్ద డేటాను కలిగి ఉన్న మరొక ముందస్తు డేటా సెట్లను హ్యాండ్లర్లు ప్రాసెస్ చేసిన మార్గాల్లో మార్పులు. సాంప్రదాయిక రిలేషనల్ డేటాబేస్ డిజైన్ ద్వారా లీనియర్ ప్రాసెసింగ్ కాకుండా, హ్యాండ్లర్లు డేటా ప్రాసెస్‌లలోని అడ్డంకులను తొలగించడానికి అపాచీ హడూప్ మరియు సంబంధిత హార్డ్‌వేర్ మేనేజ్‌మెంట్ ముక్కలు వంటి సాధనాలను ఉపయోగించడం ప్రారంభించారు.
ఫలితం మనం నివసించే పెద్ద డేటా ప్రపంచం, ఇక్కడ డేటా సెంటర్లలో భారీ డేటా సెట్లు నిల్వ చేయబడతాయి మరియు నిర్వహించబడతాయి మరియు విస్తృత శ్రేణి ఉపయోగాల కోసం విస్తృత సాంకేతిక పరిజ్ఞానాల ద్వారా ఎక్కువగా ప్రాప్తి చేయబడతాయి. వాణిజ్యం నుండి ఎకాలజీ వరకు, పబ్లిక్ ప్లానింగ్ నుండి మెడిసిన్ వరకు, పెద్ద డేటా మరింత ప్రాప్యత అవుతోంది. ఇంతలో, ప్రభుత్వ సంస్థలు మరియు ఇతర పెద్ద సంస్థలు ఇప్పటికీ పెద్ద డేటా పరిమాణాల సరిహద్దులను నెట్టివేస్తున్నాయి మరియు మరింత ఆధునిక పరిష్కారాలను అమలు చేస్తున్నాయి.
