Q:
పెద్ద డేటా విశ్లేషణల అవసరాలను తీర్చడానికి ఇప్పటికే ఉన్న డేటా గిడ్డంగి పరిసరాలు ఉత్తమ స్థాయిలో ఎలా ఉంటాయి?
A:వ్యక్తిగత డేటా గిడ్డంగి ప్రాజెక్టులను ఒక్కొక్కటిగా అంచనా వేయాలి. సాధారణంగా, పెద్ద డేటా విశ్లేషణలను చక్కగా నిర్వహించడానికి ఇప్పటికే ఉన్న డేటా గిడ్డంగి రూపకల్పనను విస్తరించడానికి ప్రయత్నిస్తున్నప్పుడు, ఏమి చేయాలో తెలుసుకోవడానికి ఒక ప్రధాన ప్రక్రియ ఉంది. ఐటి నిపుణులు దీనిని "స్కేలింగ్ అప్" లేదా "స్కేలింగ్ అవుట్" అని పిలుస్తారు.
| వెబ్నార్: బిగ్ ఐరన్, మీట్ బిగ్ డేటా: హడూప్ & స్పార్క్ తో మెయిన్ఫ్రేమ్ డేటాను విముక్తి చేయడం ఇక్కడ నమోదు చేయండి |
స్కేలింగ్ అప్ సాధారణంగా తగినంత ప్రాసెసింగ్ శక్తిని పొందడం, తగినంత మెమరీని పొందడం మరియు వ్యాపారం ప్రాసెస్ చేసే అన్ని పెద్ద డేటా సెట్‌లను నిర్వహించడానికి మరింత శక్తివంతమైన సర్వర్ కార్యకలాపాలను కలిగి ఉండటం. దీనికి విరుద్ధంగా, స్కేల్ అవుట్ అంటే సర్వర్ హార్డ్వేర్ సమూహాలను సేకరించి పెద్ద డేటాను కారల్ చేయడానికి వాటిని కలిసి నెట్‌వర్క్ చేయడం.
కొంతమంది ఐటి నిపుణులు అపాచీ హడూప్ మరియు ఇతర ప్రసిద్ధ పెద్ద డేటా సాధనాలు మరియు ప్లాట్‌ఫారమ్‌లతో మరింత సాధారణమైన పద్ధతి ఏమిటంటే, కావలసిన ప్రభావాలను సాధించడానికి స్కేల్ అవుట్ మరియు క్లస్టర్ హార్డ్వేర్. ఏదేమైనా, నేటి సాంకేతిక పరిజ్ఞానంతో, డేటా గిడ్డంగి ఒక సర్వర్‌కు వనరులను చేర్చే సేకరణ వ్యూహాన్ని ఉపయోగించి స్కేల్ చేయగలదని, ఎక్కువ సంఖ్యలో ప్రాసెసింగ్ కోర్లను పెద్ద మొత్తంలో ర్యామ్‌తో పొందడం ద్వారా చేయవచ్చు.
అవి స్కేల్ అప్ లేదా స్కేల్ అవుట్ అయినా, డేటా గిడ్డంగులకు పెద్ద డేటా పనిభారాన్ని నిర్వహించగలిగేలా అదనపు భౌతిక హార్డ్వేర్ ఆస్తులు అవసరం. వారికి అదనపు మానవ పరిపాలన కూడా అవసరం, అంటే అంతర్గత జట్లకు మరింత శిక్షణ. కొత్త పెద్ద డేటా పర్యావరణ వ్యవస్థ కోసం దాన్ని సిద్ధం చేయడానికి ఇప్పటికే ఉన్న లెగసీ సిస్టమ్‌పై పెద్ద డేటా పనిభారం ఎలాంటి ఒత్తిడి మరియు ఒత్తిడిని కలిగిస్తుందో తెలుసుకోవడానికి చాలా ప్రణాళికలు ప్రాజెక్ట్‌లోకి వెళ్లాలి. ఒక పెద్ద సమస్య ఏమిటంటే, నిల్వ కేంద్రాలకు అప్‌గ్రేడ్‌లు అవసరమయ్యే నిల్వ అడ్డంకులు మరియు ఇతర రకాల పనితీరు అడ్డంకులు, అవి పరిష్కరించబడకపోతే కొత్త వ్యవస్థను ఆశ్రయిస్తాయి.
