టెకోపీడియా సిబ్బంది, జూన్ 2, 2016
టేకావే: పెద్ద డేటాను త్వరగా మరియు సమర్ధవంతంగా ప్రాసెస్ చేయడానికి మెయిన్ఫ్రేమ్‌లలో హడూప్ పర్యావరణ వ్యవస్థ ఉపయోగించబడుతోంది.
మీరు ప్రస్తుతం లాగిన్ కాలేదు. దయచేసి వీడియోను చూడటానికి లాగిన్ అవ్వండి లేదా సైన్ అప్ చేయండి.
ఎరిక్ కవనాగ్: సరే లేడీస్ అండ్ జెంటిల్మెన్, ఇది గురువారం నాలుగు గంటలు తూర్పు, మరియు ఈ రోజుల్లో అంటే హాట్ టెక్నాలజీస్ కోసం ఇది ఖచ్చితంగా సమయం. అవును, నా పేరు ఎరిక్ కవనాగ్. నేటి వెబ్ సెమినార్‌కు నేను మీ మోడరేటర్‌గా ఉంటాను. ఇది మంచి విషయాలు, చేసారో, “బిగ్ ఐరన్, మీట్ బిగ్ డేటా” - “హడూప్ మరియు స్పార్క్ తో మెయిన్ఫ్రేమ్ డేటాను విముక్తి చేయడం” అనే శీర్షిక నాకు చాలా ఇష్టం. మేము పాత విషయాల గురించి మాట్లాడబోతున్నాం. వావ్! ఎంటర్ప్రైజ్ ఐటి యొక్క గత 50 సంవత్సరాలలో మేము మాట్లాడిన ప్రతిదాని యొక్క స్పెక్ట్రంను మేము కవర్ చేస్తున్నాము. స్పార్క్ మెయిన్ఫ్రేమ్ను కలుస్తుంది, నేను దానిని ప్రేమిస్తున్నాను.
మీ గురించి నిజంగా మరియు నా గురించి తగినంత ఉంది. సంవత్సరం వేడిగా ఉంటుంది. మేము ఈ శ్రేణిలోని హాట్ టాపిక్స్ గురించి మాట్లాడుతాము ఎందుకంటే మేము కొన్ని విభాగాలను, కొన్ని ఖాళీలను అర్థం చేసుకోవడానికి ప్రజలకు సహాయపడటానికి నిజంగా ప్రయత్నిస్తున్నాము. ఉదాహరణకు, విశ్లేషణాత్మక వేదికను కలిగి ఉండటం అంటే ఏమిటి? మెయిన్ఫ్రేమ్ల నుండి పెద్ద డేటాను విముక్తి చేయడం అంటే ఏమిటి? ఈ విషయాలన్నీ ఏమిటి? నిర్దిష్ట రకాల సాంకేతిక పరిజ్ఞానాలను అర్థం చేసుకోవడానికి మేము మీకు సహాయం చేయడానికి ప్రయత్నిస్తున్నాము, అక్కడ అవి మిశ్రమానికి సరిపోతాయి మరియు మీరు వాటిని ఎలా ఉపయోగించుకోవచ్చు.
ఈ రోజు మాకు ఇద్దరు విశ్లేషకులు ఉన్నారు, ఆపై సింక్‌సోర్ట్‌కు చెందిన టెండే యోగుర్టు. ఆమె మా స్థలంలో దూరదృష్టి గలది, ఈ రోజు ఆమెను ఆన్‌లైన్‌లో కలిగి ఉండటం చాలా సంతోషంగా ఉంది, మా స్వంత డెజ్ బ్లాంచ్ఫీల్డ్ మరియు డాక్టర్ రాబిన్ బ్లూర్‌తో. నేను కొన్ని శీఘ్ర పదాలు మాత్రమే చెబుతాను. ఒకటి, చేసారో, మీరు ఈ ప్రక్రియలో పెద్ద పాత్ర పోషిస్తారు, కాబట్టి దయచేసి కొన్ని మంచి ప్రశ్నలు అడగడానికి సిగ్గుపడకండి. వెబ్‌కాస్ట్ యొక్క Q & A భాగం సమయంలో మేము వాటిని పొందాలనుకుంటున్నాము, ఇది సాధారణంగా ప్రదర్శన ముగింపులో ఉంటుంది. నేను చెప్పేది మనకు చాలా మంచి కంటెంట్ ఉంది, కాబట్టి ఈ కుర్రాళ్ళు చెప్పేది వినడానికి నేను సంతోషిస్తున్నాను. మరియు దానితో, నేను దానిని డెజ్ బ్లాంచ్ఫీల్డ్కు అప్పగించబోతున్నాను. డెజ్, నేల మీదే, దాన్ని తీసివేయండి.
డెజ్ బ్లాంచ్ఫీల్డ్: ధన్యవాదాలు, ఎరిక్, మరియు ఈ రోజు హాజరైన ప్రతి ఒక్కరికి ధన్యవాదాలు. కాబట్టి ప్రపంచంలో నాకు ఇష్టమైన వాటిలో ఒకటి, మెయిన్ఫ్రేమ్ల గురించి మాట్లాడే అవకాశం వచ్చినప్పుడు నేను చాలా సంతోషిస్తున్నాను. ఈ రోజుల్లో వారికి పెద్దగా ప్రేమ రాదు. నా అభిప్రాయం మెయిన్ఫ్రేమ్ అసలు పెద్ద డేటా ప్లాట్‌ఫాం. ఆ సమయంలో వారు మాత్రమే కంప్యూటర్ అని కొందరు వాదిస్తారు మరియు ఇది చాలా సరసమైన పాయింట్, కానీ 60 ఏళ్ళకు పైగా వారు నిజంగా పెద్ద డేటా ఆలస్యంగా ప్రాచుర్యం పొందిన ఇంజిన్ గదిగా ఉన్నారు. మరియు నేను మిమ్మల్ని ఒక చిన్న ప్రయాణంలో తీసుకెళ్తాను.
మీరు ఇప్పుడు తెరపై చూసే చిత్రం నుండి మెయిన్‌ఫ్రేమ్‌లు మారిన సందర్భంలో టెక్నాలజీ హార్డ్వేర్ స్టాక్‌లలో ఒక ప్రయాణాన్ని మేము చూశాము. ఇది పాత FACOM మెయిన్ఫ్రేమ్, ఇది నాకు ఇష్టమైన వాటిలో ఒకటి. మేము పెద్ద ఇనుప దశ, తొంభైల చివరలో మరియు డాట్-కామ్ విజృంభణలోకి ప్రవేశించాము. ఇది సన్ మైక్రోసిస్టమ్స్ E10000. ఈ విషయం 96 CPU లలో సంపూర్ణ రాక్షసుడు. వాస్తవానికి 64 అయితే దీనిని 96 సిపియులలో అప్‌గ్రేడ్ చేయవచ్చు. ప్రతి CPU 1, 024 థ్రెడ్లను అమలు చేయగలదు. ప్రతి థ్రెడ్ ఒకే సమయంలో అప్లికేషన్ రేటులో ఉండవచ్చు. ఇది కేవలం భయంకరమైనది మరియు ఇది వాస్తవానికి డాట్-కామ్ బూమ్‌కు శక్తినిచ్చింది. మేము వాటిని పిలుస్తున్నప్పుడు ఇవన్నీ పెద్ద యునికార్న్స్, ఇప్పుడు మేము నడుస్తున్నాము మరియు పెద్ద సంస్థలు మాత్రమే కాదు, కొన్ని పెద్ద వెబ్‌సైట్లు.
ఆపై మేము ఈ సాధారణ ఆఫ్-ది-షెల్ఫ్ కమోడిటీ పిసి మోడల్‌తో ముగించాము. మేము చాలా చౌకైన యంత్రాలను ఒకదానితో ఒకటి కట్టివేసాము మరియు మేము ఒక క్లస్టర్‌ను సృష్టించాము మరియు మేము పెద్ద ఇనుప సవాలును సంప్రదించాము మరియు ముఖ్యంగా హడూప్ ప్రాజెక్ట్ రూపంలో పెద్ద డేటాగా మారింది, ఇది ఓపెన్ సోర్స్ సెర్చ్ ఇంజిన్, నచ్ నుండి బయటపడింది. మరియు మేము తప్పనిసరిగా మెయిన్ఫ్రేమ్ మరియు చాలా చిన్న సిపియులను ఒకదానితో ఒకటి పునర్నిర్మించాము మరియు ఎల్-పాత్స్ లాగా మరియు ప్రత్యేక ఉద్యోగాలు లేదా ఉద్యోగాల భాగాలను నడుపుతున్న రూపంలో పనిచేయగలము మరియు అవి చాలా విధాలుగా చాలా ప్రభావవంతంగా ఉన్నాయి. మీరు చిన్నదిగా ప్రారంభించినట్లయితే చౌకైనది, కాని ఈ పెద్ద సమూహాలలో చాలావరకు మెయిన్ఫ్రేమ్ కంటే ఖరీదైనవి.
ఈ విషయాలపై నా అభిప్రాయం ఏమిటంటే, డాట్-కామ్ బూమ్ నుండి వెబ్ 2.0 గా మారింది మరియు ఇప్పుడు యునికార్న్స్‌ను వెంటాడుతోంది, ఈ ప్లాట్‌ఫాం ఇప్పటికీ మన అతిపెద్ద మిషన్-క్రిటికల్ సిస్టమ్‌లను శక్తివంతం చేస్తుందని మేము మర్చిపోయాము. అక్కడ ఉన్న మెయిన్ఫ్రేమ్ ప్లాట్‌ఫామ్‌లలో ఏమి నడుస్తున్నదో మేము ఆలోచించినప్పుడు. ఇది చాలా పెద్ద డేటా, ముఖ్యంగా డేటా వర్క్‌హోర్స్, కానీ ఖచ్చితంగా పెద్ద డేటా. సాంప్రదాయ సంస్థ మరియు ప్రభుత్వ వ్యవస్థలు ముఖ్యంగా బ్యాంకింగ్ మరియు సంపద నిర్వహణ మరియు భీమా, మనమందరం ప్రతిరోజూ ఉపయోగిస్తాము.
ఎయిర్లైన్ బుకింగ్ మరియు ఫ్లైట్ మేనేజ్మెంట్ సిస్టమ్స్, ముఖ్యంగా ఫ్లైట్ మేనేజ్మెంట్ రియల్ టైమ్ కీలకం. దాదాపు ప్రతి రాష్ట్ర మరియు సమాఖ్య ప్రభుత్వం కొంత సమయంలో మెయిన్ఫ్రేమ్ను కలిగి ఉంది మరియు చాలా మంది ఇప్పటికీ వాటిని కలిగి ఉన్నారు. రిటైల్ మరియు తయారీ. పాత సాఫ్ట్‌వేర్‌లో కొన్ని ఇప్పుడే ఉన్నాయి మరియు ఎప్పటికీ పోలేదు. విద్యుత్ ఉత్పాదక వాతావరణాలకు మరియు ఖచ్చితంగా రిటైల్ స్థాయిలో కొనసాగుతుంది. వైద్య వ్యవస్థలు. రక్షణ వ్యవస్థలు, ఖచ్చితంగా రక్షణ వ్యవస్థలు.
ఈ గత రెండు వారాలు నేను కొన్ని క్షిపణి నియంత్రణ వ్యవస్థలు ఇప్పటికీ పాత మెయిన్‌ఫ్రేమ్‌లపై నడుస్తున్నాయనే దాని గురించి చాలా కథనాలను చదివాను. క్రొత్త మెయిన్‌ఫ్రేమ్‌లలోకి ఎలా అప్‌గ్రేడ్ చేయాలో వారు కనుగొంటున్నారు. రవాణా మరియు లాజిస్టిక్స్ వ్యవస్థలు. ఇవి సెక్సీ టాపిక్స్ లాగా అనిపించకపోవచ్చు కాని ఇవి మనం రోజూ వ్యవహరించే విషయాలు. మరియు కొన్ని చాలా పెద్ద టెలికమ్యూనికేషన్ పరిసరాలు ఇప్పటికీ మెయిన్ఫ్రేమ్ ప్లాట్‌ఫామ్‌లపై నడుస్తున్నాయి.
అక్కడ ఉన్న డేటా రకాలను గురించి మీరు ఆలోచించినప్పుడు, అవన్నీ మిషన్ క్లిష్టమైనవి. అవి ప్రతిరోజూ మనం తీసుకునే ముఖ్యమైన ప్లాట్‌ఫారమ్‌లు మరియు ప్లాట్‌ఫారమ్‌లు మరియు అనేక విధాలుగా జీవితాన్ని సాధ్యం చేస్తాయి. కాబట్టి ఇప్పటికీ ఎవరు మెయిన్ఫ్రేమ్ను ఉపయోగిస్తున్నారు మరియు ఈ పెద్ద ప్లాట్‌ఫారమ్‌లను పట్టుకుని ఈ డేటా మొత్తాన్ని కలిగి ఉన్న ఈ వ్యక్తులు ఎవరు? సరే, నేను ఇక్కడ చెప్పినట్లుగా, మీడియా పెద్ద ఇనుము నుండి సాధారణ ఆఫ్-ది-షెల్ఫ్ క్లస్టర్లు లేదా చౌకైన పిసిలు లేదా x86 యంత్రాల రాక్లకు మారడం ద్వారా మోసపోవటం చాలా సులభం అని నేను నమ్ముతున్నాను, మెయిన్ఫ్రేమ్ చనిపోయి వెళ్లిపోయిందని అనుకుంటున్నాను. కానీ డేటా మెయిన్ఫ్రేమ్ ఎప్పటికీ పోలేదని మరియు వాస్తవానికి ఇది ఇక్కడే ఉందని చెప్పారు.
గత రెండు వారాల్లో నేను ఇక్కడ చేసిన పరిశోధనలో 70 శాతం ఎంటర్ప్రైజ్, ముఖ్యంగా పెద్ద ఎంటర్ప్రైజ్, డేటా ఇప్పటికీ వాస్తవానికి ఏదో ఒక రూపం యొక్క మెయిన్ఫ్రేమ్ మీదనే ఉందని తేలింది. ఫార్చ్యూన్ 500 లలో డెబ్బై ఒకటి శాతం ఇప్పటికీ ఎక్కడో ఒకచోట మెయిన్ఫ్రేమ్‌లలో కోర్ వ్యాపార వ్యవస్థలను నడుపుతున్నాయి. వాస్తవానికి, ఇక్కడ ఆస్ట్రేలియాలో, నగరం మధ్యలో డేటా సెంటర్ ఉన్న అనేక సంస్థలు మనకు ఉన్నాయి. ఇది వాస్తవంగా భూగర్భ కంప్యూటర్, మరియు మెయిన్ఫ్రేమ్ల సంఖ్య అక్కడ నడుస్తోంది, టిక్ చేయడం మరియు సంతోషంగా వారి పనిని చేస్తుంది. నగరంలోని ఒక నిర్దిష్ట భాగంలో వీధుల చుట్టూ నడవడం, వారి అడుగుల క్రింద, మెయిన్‌ఫ్రేమ్‌లతో నిండిన ఈ భారీ డేటా సెంటర్ ఉందని చాలా కొద్ది మందికి తెలుసు. ప్రపంచంలోని 100 బ్యాంకులలో తొంభై రెండు, టాప్ 100 బ్యాంకులు ఇప్పటికీ మెయిన్ఫ్రేమ్‌లలో బ్యాంకింగ్ వ్యవస్థలను నడుపుతున్నాయి. ప్రపంచవ్యాప్తంగా ఉన్న టాప్ 25 రిటైల్ గొలుసులలో ఇరవై మూడు ఇప్పటికీ తమ రిటైల్ నిర్వహణ వ్యవస్థలను EIP మరియు BI ప్లాట్‌ఫామ్‌లలో అమలు చేయడానికి మెయిన్ఫ్రేమ్లను ఉపయోగిస్తాయి.
ఆసక్తికరంగా, టాప్ 10 బీమా సంస్థలలో 10 మంది ఇప్పటికీ తమ ప్లాట్‌ఫారమ్‌లను మెయిన్ఫ్రేమ్లో నడుపుతున్నారు మరియు వారు వాస్తవానికి వారి క్లౌడ్ సేవలను మెయిన్ఫ్రేమ్లో శక్తివంతం చేస్తారు. మిడిల్‌వేర్ ఉన్న ఇంటర్‌ఫేస్ ఉన్న ఎక్కడో ఒక వెబ్ ఇంటర్‌ఫేస్ లేదా మొబైల్ అనువర్తనాన్ని మీరు ఉపయోగిస్తుంటే, అది వెనుక భాగంలో నిజంగా భారీగా మరియు పెద్దదిగా మాట్లాడుతుంది.
ప్రపంచవ్యాప్తంగా 225 కి పైగా రాష్ట్ర మరియు స్థానిక ప్రభుత్వ సంస్థలు ఇప్పటికీ మెయిన్ఫ్రేమ్ ప్లాట్‌ఫామ్‌లపై నడుస్తున్నట్లు నేను కనుగొన్నాను. దానికి చాలా కారణాలు ఉన్నాయని నేను ఖచ్చితంగా అనుకుంటున్నాను. కొత్త ఇనుమును పరిగణనలోకి తీసుకునే బడ్జెట్ వారికి లేకపోవచ్చు, కాని ఇది చాలా క్లిష్టమైన డేటాతో మెయిన్ఫ్రేమ్లో నడుస్తున్న చాలా పెద్ద పరిసరాల యొక్క భారీ పాదముద్ర. నేను ఇంతకు ముందే చెప్పినట్లుగా, చాలా దేశాలు ఇప్పటికీ తమ కీలక రక్షణ వ్యవస్థలను మెయిన్ఫ్రేమ్లో నడుపుతున్నాయి. వారు అక్కడకు వెళ్ళడానికి చాలా రకాలుగా ప్రయత్నిస్తున్నారని నాకు తెలుసు, కాని మీరు అక్కడకు వెళ్ళండి.
2015 లో ఐడిసి ఒక సర్వేను నిర్వహించింది మరియు సర్వే చేసిన 350 మంది సిఐఓలు ఇప్పటికీ మెయిన్ఫ్రేమ్ల రూపంలో పెద్ద ఇనుమును కలిగి ఉన్నారని మరియు నిర్వహించారని నివేదించారు. ప్రస్తుతం ఉత్పత్తిలో ప్రపంచవ్యాప్తంగా నడుస్తున్న పెద్ద-స్థాయి హడూప్ క్లస్టర్ల సంఖ్య కంటే ఇది ఎక్కువగా ఉందని నాకు తెలిసింది - అక్కడ ఒక ఆసక్తికరమైన చిన్న స్టాట్. నేను ముందుకు వెళ్లి దాన్ని ధృవీకరించబోతున్నాను, కానీ అది పెద్ద సంఖ్య. మూడు వందల యాభై CIO లు తమ వద్ద ఒకటి లేదా అంతకంటే ఎక్కువ మెయిన్‌ఫ్రేమ్‌లు ఇంకా ఉత్పత్తిలో ఉన్నాయని నివేదించాయి.
గత సంవత్సరం, 2015, ఐబిఎమ్ వారి మెయిన్ఫ్రేమ్ ప్లాట్‌ఫామ్ యొక్క 13 వ పునరావృత శక్తివంతమైన Z13 ను మాకు ఇచ్చింది. మీడియా ఈ విషయం గురించి క్రూరంగా మాట్లాడింది, ఎందుకంటే ఐబిఎం ఇప్పటికీ మెయిన్ఫ్రేమ్లను తయారు చేస్తోందని వారు ఆశ్చర్యపోయారు. వారు హుడ్ ఎత్తినప్పుడు మరియు విషయం కింద ఉన్నదాన్ని పరిశీలించినప్పుడు, ఇది వాస్తవానికి ప్రతి ఆధునిక ప్లాట్‌ఫామ్‌తో సమానంగా ఉందని వారు గ్రహించారు, పెద్ద డేటా, హడూప్ మరియు ఖచ్చితంగా క్లస్టర్ల రూపంలో మేము సంతోషిస్తున్నాము. ఈ విషయం స్పార్క్ మరియు ఇప్పుడు హడూప్ స్థానికంగా నడిచింది. మీరు దానిపై వేలాది మరియు వేల లైనక్స్ యంత్రాలను అమలు చేయగలరు మరియు ఇది ఇతర క్లస్టర్ లాగా కనిపిస్తుంది. ఇది చాలా ఆశ్చర్యపరిచే యంత్రం.
అనేక సంస్థలు ఈ విషయాలను చేపట్టాయి మరియు వాస్తవానికి ఈ యంత్రాలు ఎన్ని తీసుకుంటున్నాయనే దానిపై నేను కొంత డేటాను చేసాను. 3270 టెక్స్ట్ టెర్మినల్ వెబ్ బ్రౌజర్‌లు మరియు మొబైల్ అనువర్తనాల ద్వారా కొంతకాలంగా భర్తీ చేయబడిందని ఇప్పుడు నేను అభిప్రాయపడ్డాను మరియు దానికి మద్దతు ఇచ్చే డేటా పుష్కలంగా ఉంది. ఈ మెయిన్‌ఫ్రేమ్‌లు దూరంగా ఉండవని మేము గ్రహించిన యుగంలోకి ప్రవేశిస్తున్నామని మరియు వాటిపై గణనీయమైన డేటా ఉందని నేను భావిస్తున్నాను. కాబట్టి మనం ఇప్పుడు చేస్తున్నది నేను ఆఫ్-ది-షెల్ఫ్ అనలిటిక్స్ టూల్స్ అని పిలుస్తాను. ఇవి అనుకూల-నిర్మిత అనువర్తనాలు కాదు. ఇవి బెస్పోక్ వన్-ఆఫ్స్. ఇవి మీరు అక్షరాలా ప్యాకేజీ పెట్టెలో కొనుగోలు చేసి మీ మెయిన్‌ఫ్రేమ్‌లోకి ప్లగ్ చేసి కొన్ని విశ్లేషణలు చేయగల విషయాలు.
నేను ఇంతకు ముందే చెప్పినట్లుగా, మెయిన్ఫ్రేమ్ 60 ఏళ్ళకు పైగా ఉంది. ఇది ఎంతకాలం ఉందో మనం ఆలోచించినప్పుడు, ఇది చాలా మంది ఐటి నిపుణుల కెరీర్‌ల కంటే ఎక్కువ కాలం ఉంటుంది. నిజానికి వారి జీవితాలలో కొన్ని, కూడా. 2002 లో ఐబిఎం 2, 300 మెయిన్ఫ్రేమ్లను విక్రయించింది. 2013 లో ఇది 2, 700 మెయిన్‌ఫ్రేమ్‌లకు పెరిగింది. ఇది 2013 లో ఒక సంవత్సరంలో 2, 700 మెయిన్ఫ్రేమ్ల అమ్మకాలు. నేను 2015 లో ఖచ్చితమైన డేటాను పొందలేకపోయాను, కాని ఇది 2015, 2013 లో సంవత్సరానికి అమ్ముడైన 3, 000 యూనిట్లకు వేగంగా చేరుకుంటుందని నేను imagine హించాను. మరియు దానిని ధృవీకరించగలనని నేను ఎదురుచూస్తున్నాను.
Z13 విడుదలతో, మెయిన్ఫ్రేమ్ ప్లాట్‌ఫాం యొక్క 13 వ పునరావృతం, మొదటి నుండి అభివృద్ధి చెందడానికి సుమారు 1.2 లేదా 1.3 బిలియన్ డాలర్లు ఖర్చు అవుతుందని నేను భావిస్తున్నాను, IBM, అంటే ఇక్కడ ఒక యంత్రం ఉంది మరియు ఇతర క్లస్టర్ల వలె అనిపిస్తుంది ఈ రోజు మనకు ఉంది మరియు స్థానికంగా హడూప్ మరియు స్పార్క్ నడుపుతుంది. మరియు ఖచ్చితంగా ఇతర విశ్లేషణలు మరియు పెద్ద డేటా సాధనాల నుండి కనెక్ట్ చేయబడవచ్చు లేదా మీ ప్రస్తుత లేదా క్రొత్త హడూప్ క్లస్టర్లలో ఒకదానికి అనుసంధానించబడి ఉంటుంది. మీ పెద్ద డేటా వ్యూహంలో మెయిన్ఫ్రేమ్ ప్లాట్‌ఫామ్‌తో సహా తప్పనిసరి అని నాకు ఈ అభిప్రాయం ఉంది. సహజంగానే, మీకు ఒకటి ఉంటే, మీకు చాలా డేటా ఉంది మరియు దాన్ని ఎలా పొందాలో మీరు గుర్తించాలనుకుంటున్నారు. వ్యాపార ప్రపంచం వెళ్లేంతవరకు వారు మానసికంగా మరియు మానసికంగా అనేక విధాలుగా ధూళిని సేకరించడానికి మిగిలిపోతున్నారు, కాని వారు ఇక్కడే ఉన్నారు.
మెయిన్ఫ్రేమ్-హోస్ట్ చేసిన డేటాకు మీ అన్ని విశ్లేషణ సాధనాల కోసం కనెక్టివిటీ మరియు ఇంటర్‌ఫేస్‌లు మీ సంస్థలో మరియు ముఖ్యంగా ప్రభుత్వ పెద్ద డేటా ప్రణాళికల్లో కీలక భాగంగా ఉండాలి. మరియు సాఫ్ట్‌వేర్ ఇప్పుడు వాటిని గమనిస్తోంది, వాటిని బాగా పరిశీలించి, ఈ విషయాలలో ఏమి ఉందో గ్రహించి, కొంచెం అంతర్దృష్టిని పొందడం ప్రారంభించే మనస్సులను అనుసంధానిస్తుంది మరియు వాస్తవానికి హుడ్ కింద ఉన్నదానికి కొంత అనుభూతిని కలిగిస్తుంది. దానితో నేను నా ప్రియమైన సహోద్యోగి డాక్టర్ రాబిన్ బ్లూర్‌కు అప్పగించబోతున్నాను మరియు అతను ఆ చిన్న ప్రయాణానికి జోడిస్తాడు. రాబిన్, దాన్ని తీసివేయండి.
రాబిన్ బ్లూర్: సరే, ధన్యవాదాలు. సరే, డెజ్ మెయిన్ఫ్రేమ్ యొక్క పాటను పాడినప్పటి నుండి, పాత మెయిన్ఫ్రేమ్ ప్రపంచం మరియు కొత్త హడూప్ ప్రపంచం పరంగా ఏమి జరుగుతుందో నేను అనుకుంటున్నాను. ఇక్కడ పెద్ద ప్రశ్న ఏమిటంటే, మీరు ఆ డేటాను ఎలా నిర్వహిస్తారు? మెయిన్ఫ్రేమ్ దాని పెద్ద డేటా సామర్థ్యానికి సంబంధించి సవాలు చేయబడుతోందని నా అభిప్రాయం కాదు - దాని పెద్ద డేటా సామర్ధ్యం చాలా ఉంది, డెజ్ ఎత్తి చూపినట్లు, ఇది చాలా సామర్థ్యం. వాస్తవానికి మీరు దానిపై హడూప్ క్లస్టర్‌లను ఉంచవచ్చు. ఇది ఎక్కడ సవాలు చేయబడుతుందో దాని పర్యావరణ వ్యవస్థ పరంగా ఉంటుంది మరియు నేను దాని గురించి వివరిస్తాను.
ఇక్కడ కొన్ని మెయిన్ఫ్రేమ్ పొజిషనింగ్ ఉంది. ఇది అధిక ప్రవేశ వ్యయాన్ని కలిగి ఉంది మరియు గతంలో ఏమి జరిగింది, '90 ల మధ్య నుండి మెయిన్ఫ్రేమ్ల యొక్క ప్రజాదరణ తగ్గడం ప్రారంభమైనప్పటి నుండి, ఇది తక్కువ ముగింపును కోల్పోయింది, చౌకైన మెయిన్ఫ్రేమ్లను కొనుగోలు చేసిన వ్యక్తులు మరియు అది కాదు ఆ ప్రజలకు నిజంగా ఆర్థికంగా లేదు. కానీ మెయిన్ఫ్రేమ్ యొక్క మధ్య-శ్రేణి మరియు అధిక-శ్రేణిలో వాస్తవానికి ఇది ఇంకా వాస్తవంగా ఉంది, మరియు వాస్తవానికి చాలా చవకైన కంప్యూటింగ్.
ఇది, లైనక్స్ చేత రక్షించబడిందని చెప్పాలి, ఎందుకంటే మెయిన్ఫ్రేమ్లో లైనక్స్ అమలు చేయబడినందున అన్ని లైనక్స్ అనువర్తనాలను అమలు చేయడం సాధ్యమైంది. పెద్ద డేటా ఒక పదం లేదా నేను అనుకునే రెండు పదాలు కాకముందే చాలా లైనక్స్ అనువర్తనాలు అక్కడికి వెళ్ళాయి. ఇది నిజానికి ప్రైవేట్ క్లౌడ్ కోసం చాలా అద్భుతమైన వేదిక. ఆ కారణంగా ఇది హైబ్రిడ్ క్లౌడ్ విస్తరణలలో పాల్గొనవచ్చు. మెయిన్ఫ్రేమ్ నైపుణ్యాలు తక్కువ సరఫరాలో ఉండటం సమస్యలలో ఒకటి. మెయిన్ఫ్రేమ్ నైపుణ్యాలు వాస్తవానికి వృద్ధాప్యంలో ఉన్నాయి, ప్రజలు సంవత్సరానికి పదవీ విరమణ కోసం పరిశ్రమను విడిచిపెడతారు మరియు వారు ప్రజల సంఖ్యను బట్టి మాత్రమే భర్తీ చేయబడ్డారు. కనుక ఇది ఒక సమస్య. కానీ ఇది ఇప్పటికీ చవకైన కంప్యూటింగ్.
ఇది సవాలు చేయబడిన ప్రాంతం ఈ మొత్తం హడూప్ విషయం. అసలు హడూప్ ఏనుగుతో డగ్ కట్టింగ్ చిత్రం అది. హడూప్ పర్యావరణ వ్యవస్థ - మరియు అది అలాగే ఉంటుంది - పెద్ద డేటా పర్యావరణ వ్యవస్థ. ఇది మెయిన్ఫ్రేమ్ వాస్తవానికి సాధించగల దానికంటే మెరుగైన స్కేల్‌ను అందిస్తుంది మరియు ఇది డేటా స్టోర్‌గా చాలా తక్కువ ఖర్చుతో ఉంటుంది. హడూప్ పర్యావరణ వ్యవస్థ అభివృద్ధి చెందుతోంది. దీని గురించి ఆలోచించడానికి ఉత్తమ మార్గం ఒకసారి ఒక నిర్దిష్ట హార్డ్వేర్ ప్లాట్‌ఫాం మరియు దానితో ఆపరేటింగ్ వాతావరణం ఆధిపత్యం చెలాయిస్తుంది, అప్పుడు పర్యావరణ వ్యవస్థ సజీవంగా వస్తుంది. మరియు అది IBM మెయిన్‌ఫ్రేమ్‌తో జరిగింది. బాగా, తరువాత డిజిటల్ వాక్స్ తో జరిగింది, సన్ సర్వర్లతో జరిగింది, విండోస్ తో జరిగింది, లైనక్స్ తో జరిగింది.
మరియు ఏమి జరిగిందంటే, డేటా కోసం ఒక రకమైన పంపిణీ వాతావరణంగా నేను ఎప్పుడూ ఆలోచించే లేదా ఆలోచించదలిచిన హడూప్, పర్యావరణ వ్యవస్థ నమ్మశక్యం కాని రేటుతో అభివృద్ధి చెందుతోంది. ఓపెన్ సోర్స్, స్పార్క్, ఫ్లింక్, కాఫ్కా, ప్రెస్టో వంటి వివిధ అద్భుతమైన రచనలను మీరు ప్రస్తావించినట్లయితే, ఆపై మీరు కొన్ని డేటాబేస్లు, ఇప్పుడు హడూప్‌లో కూర్చున్న NoSQL మరియు SQL సామర్థ్యాలను జోడిస్తారు. హడూప్ అత్యంత చురుకైన పర్యావరణ వ్యవస్థ, ఇది వాస్తవానికి కార్పొరేట్ కంప్యూటింగ్‌లో ఉంది. మీరు దీన్ని డేటాబేస్‌గా పరిగణించాలనుకుంటే, నిజమైన డేటాబేస్‌లుగా, ముఖ్యంగా డేటా గిడ్డంగి స్థలంలో నేను ఏమనుకుంటున్నానో దానితో పోలిక లేదు. కౌచ్‌డిబి వంటి హడూప్‌లో అమలు చేయని అనేక పెద్ద NoSQL డేటాబేస్‌ల విజయాన్ని ఇది కొంతవరకు వివరిస్తుంది.
డేటా సరస్సుగా ఇది ఇతర ప్లాట్‌ఫారమ్‌ల కంటే చాలా ధనిక పర్యావరణ వ్యవస్థను కలిగి ఉంది మరియు దాని నుండి స్థానభ్రంశం చెందడం లేదు. దీని పర్యావరణ వ్యవస్థ కేవలం ఓపెన్ సోర్స్ పర్యావరణ వ్యవస్థ కాదు. హడూప్ కోసం ప్రాథమికంగా నిర్మించిన లేదా హడూప్‌కు దిగుమతి చేయబడిన ఉత్పత్తులను కలిగి ఉన్న సాఫ్ట్‌వేర్ సభ్యుల సంఖ్య ఇప్పుడు నాటకీయంగా ఉంది. మరియు వారు దాని యొక్క వెడల్పు పరంగా దానితో పోటీపడే ఏదీ లేదని పర్యావరణ వ్యవస్థను సృష్టించారు. మరియు నిజంగా ఇది పెద్ద డేటా ఆవిష్కరణకు వేదికగా మారింది. కానీ నా అభిప్రాయం ప్రకారం ఇది ఇంకా అపరిపక్వమైనది మరియు ఏది మరియు లేని వాటి గురించి మనం సుదీర్ఘ చర్చలు జరపవచ్చు, హడూప్‌తో కార్యాచరణ పరిపక్వత చెందుతుందని చెప్పండి, కాని ఈ ప్రత్యేక ప్రాంతాన్ని చూస్తున్న చాలా మందికి హడూప్ మెయిన్ఫ్రేమ్ కంటే దశాబ్దాల వెనుక ఉందని బాగా తెలుసు అని నేను అనుకుంటున్నాను. కార్యాచరణ సామర్థ్యం పరంగా.
అభివృద్ధి చెందుతున్న డేటా సరస్సు. డేటా సరస్సు ఏదైనా నిర్వచనం ప్రకారం ఒక వేదిక మరియు కార్పొరేట్ కంప్యూటింగ్‌లో డేటా లేయర్ ఉందని మీరు అనుకుంటే ఇప్పుడు స్థిర డేటాబేస్‌ల పరంగా మరియు డేటా లేయర్‌ను తయారుచేసే డేటా లేక్ పరంగా ఆలోచించడం చాలా సులభం. డేటా సరస్సు అనువర్తనాలు చాలా మరియు వైవిధ్యమైనవి. నేను ఇక్కడ ఒక రేఖాచిత్రాన్ని పొందాను, మీరు హడూప్‌ను స్టేజింగ్ ప్రాంతంగా లేదా హడూప్ మరియు స్పార్క్‌ను స్టేజింగ్ ఏరియాగా ఉపయోగిస్తే చేయవలసిన వివిధ డేటా వివాదాల ద్వారా వెళుతుంది. డేటా వంశం, డేటా ప్రక్షాళన, మెటాడేటా నిర్వహణ, మెటాడేటా డిస్కవరీ - మీకు మొత్తం వచ్చింది - ఇది డేటాను ఇటిఎల్ కోసం ఉపయోగించుకోవచ్చు కాని తరచూ డేటాను తీసుకురావడానికి ఇటిఎల్ అవసరం. మాస్టర్ డేటా నిర్వహణ, డేటా యొక్క వ్యాపార నిర్వచనాలు, సేవా నిర్వహణ హడూప్‌లో ఏమి జరుగుతోంది, డేటా యొక్క జీవిత చక్ర నిర్వహణ మరియు హడూప్ నుండి ETL, మరియు మీరు హడూప్‌లో అమలు చేయగల ప్రత్యక్ష విశ్లేషణ అనువర్తనాలను కూడా పొందారు.
అందువల్ల ఇది చాలా శక్తివంతమైనదిగా మారింది మరియు ఇది ఎక్కడ అమలు చేయబడింది మరియు విజయవంతంగా అమలు చేయబడింది, సాధారణంగా ఇది కనీసం ఈ రకమైన అనువర్తనాల సేకరణను కలిగి ఉంటుంది. మరియు ఆ అనువర్తనాల్లో చాలావరకు, ముఖ్యంగా నేను సంక్షిప్తీకరించినవి, అవి ప్రస్తుతం మెయిన్ఫ్రేమ్లో అందుబాటులో లేవు. కానీ మీరు వాటిని మెయిన్ఫ్రేమ్లో, మెయిన్ఫ్రేమ్ యొక్క విభజనలో నడుస్తున్న హడూప్ క్లస్టర్‌లో అమలు చేయవచ్చు.
డేటా సరస్సు ఫాస్ట్ డేటాబేస్ అనలిటిక్స్ మరియు BI కోసం సహజ స్టేజింగ్ ప్రాంతంగా మారుతోంది. ఇది మీరు డేటాలో తీసుకునే ప్రదేశం అవుతుంది, ఇది కార్పొరేట్ డేటా లేదా బాహ్య డేటా అయినా, అది వరకు గందరగోళంగా ఉండండి, వాడటానికి తగినంత శుభ్రంగా మరియు ఉపయోగించడానికి బాగా నిర్మాణాత్మకంగా ఉండి, ఆపై మీరు దాన్ని పాస్ చేయండి. మరియు ఇవన్నీ ఇప్పటికీ ప్రారంభ దశలోనే ఉన్నాయి.
మెయిన్ఫ్రేమ్ / హడూప్ సహజీవనం యొక్క ఆలోచన, మొదటి విషయం ఏమిటంటే, పెద్ద కంపెనీలు మెయిన్ఫ్రేమ్ను వదలివేయడానికి అవకాశం లేదు. వాస్తవానికి, మెయిన్ఫ్రేమ్లో పెరుగుతున్న పెట్టుబడి ఉందని నేను ఇటీవల చూసిన సూచనలు సూచిస్తున్నాయి. కానీ వారు హడూప్ పర్యావరణ వ్యవస్థను విస్మరించరు. హడూప్‌ను ఉపయోగిస్తున్న 60 శాతం పెద్ద కంపెనీల గణాంకాలను నేను చూస్తున్నాను, వాటిలో చాలావరకు కేవలం ప్రోటోటైపింగ్ మరియు ప్రయోగాలు చేస్తున్నప్పటికీ.
తికమక పెట్టే సమస్య ఏమిటంటే, “మీరు ఈ రెండు విషయాలను ఎలా సహజీవనం చేస్తారు?” ఎందుకంటే అవి డేటాను పంచుకోవాల్సిన అవసరం ఉంది. డేటా సరస్సులోకి తీసుకువచ్చిన డేటా వారు మెయిన్‌ఫ్రేమ్‌కు బదిలీ చేయాలి. మెయిన్ఫ్రేమ్లో ఉన్న డేటా ఇతర డేటాతో చేరడానికి డేటా సరస్సుకి లేదా డేటా సరస్సు ద్వారా వెళ్ళవలసి ఉంటుంది. మరియు అది జరగబోతోంది. మరియు దీనికి వేగవంతమైన డేటా బదిలీ / ఇటిఎల్ సామర్ధ్యం అవసరం. పని లోడ్లు డైనమిక్‌గా, మెయిన్ఫ్రేమ్ వాతావరణంలో లేదా హడూప్ వాతావరణంలో ఏదో ఒకదానితో భాగస్వామ్యం అయ్యే అవకాశం లేదు. ఇది భాగస్వామ్యం చేయబడిన డేటా అవుతుంది. మరియు మెజారిటీ డేటా అనివార్యంగా హడూప్‌లో నివసించబోతోంది ఎందుకంటే ఇది దాని కోసం అతి తక్కువ ఖర్చుతో కూడిన వేదిక. మరియు ఎండ్-టు-ఎండ్ ఎనలిటికల్ ప్రాసెసింగ్ బహుశా అక్కడ కూడా నివసిస్తుంది.
సారాంశంలో, అంతిమంగా మనం కార్పొరేట్ డేటా పొర పరంగా ఆలోచించాలి, ఇది చాలా కంపెనీలకు మెయిన్ఫ్రేమ్ను కలిగి ఉంటుంది. మరియు ఆ డేటా పొరను ముందుగానే నిర్వహించాలి. లేకపోతే ఇద్దరూ బాగా సహజీవనం చేయరు. నేను బంతిని మీ వద్దకు తిరిగి పంపగలను ఎరిక్.
ఎరిక్ కవనాగ్ : మళ్ళీ, టెండే నేను మిమ్మల్ని ప్రెజెంటర్గా చేసాను, కాబట్టి దాన్ని తీసివేయండి.
Tendü Yogurtçu: ధన్యవాదాలు, ఎరిక్. నన్ను పిలిచినందుకు ధన్యవాదములు. అందరికీ హాయ్. సంస్థలోని ఒక ఆస్తిగా డేటాను మెయిన్ఫ్రేమ్ నుండి అనలిటిక్స్ ప్లాట్‌ఫామ్‌లపై పెద్ద డేటాకు సమం చేసినట్లు మేము డేటాను ఎలా చూస్తాము అనేదానికి సంబంధించి కస్టమర్లతో సమకాలీకరణ అనుభవం గురించి నేను మాట్లాడుతున్నాను. ప్రేక్షకుల నుండి ప్రశ్నలను కలిగి ఉండటానికి సెషన్ చివరిలో మనకు కూడా సమయం ఉంటుందని నేను ఆశిస్తున్నాను ఎందుకంటే ఇది నిజంగా ఈ వెబ్‌కాస్ట్‌లలో అత్యంత విలువైన భాగం.
సమకాలీకరణ ఏమి చేస్తుందో తెలియని వ్యక్తుల కోసం, సమకాలీకరణ ఒక సాఫ్ట్‌వేర్ సంస్థ. మేము వాస్తవానికి 40 సంవత్సరాలుగా ఉన్నాము. మెయిన్ఫ్రేమ్ వైపు ప్రారంభమైంది మరియు మా ఉత్పత్తులు మెయిన్ఫ్రేమ్ నుండి యునిక్స్ వరకు పెద్ద డేటా ప్లాట్‌ఫారమ్‌ల వరకు విస్తరించి ఉన్నాయి, వీటిలో హడూప్, స్పార్క్, స్ప్లంక్‌తో సహా, ఆవరణలో మరియు క్లౌడ్‌లో ఉన్నాయి. మా దృష్టి ఎల్లప్పుడూ డేటా ఉత్పత్తులు, డేటా ప్రాసెసింగ్ మరియు డేటా ఇంటిగ్రేషన్ ఉత్పత్తులపై ఉంది.
పెద్ద డేటా మరియు హడూప్‌లకు సంబంధించి మా వ్యూహం మొదటి రోజు నుండే పర్యావరణ వ్యవస్థలో భాగం కావడం. చాలా తేలికపాటి ఇంజిన్‌లతో డేటా ప్రాసెసింగ్‌పై నిజంగా దృష్టి సారించిన విక్రేతల యజమానులుగా, హడూప్ డేటా ప్రాసెసింగ్ ప్లాట్‌ఫామ్‌గా మారడానికి మరియు సంస్థ కోసం ఈ తరువాతి తరం డేటా గిడ్డంగి నిర్మాణంలో భాగం కావడానికి పెద్ద అవకాశం ఉందని మేము భావించాము. మ్యాప్‌రెడ్యూస్‌తో ప్రారంభించి 2011 నుండి ఓపెన్ సోర్స్ అపాచీ ప్రాజెక్టులకు మేము సహకారిగా ఉన్నాము. హడూప్ వెర్షన్ 2 కోసం మొదటి పది స్థానాల్లో ఉన్నారు మరియు వాస్తవానికి స్పార్క్ ప్యాకేజీలతో సహా పలు ప్రాజెక్టులలో పాల్గొన్నారు, మా కనెక్టర్లలో కొన్ని స్పార్క్ ప్యాకేజీలలో ప్రచురించబడ్డాయి.
మేము పూర్తిగా తేలికైన డేటా ప్రాసెసింగ్ ఇంజిన్‌ను ప్రభావితం చేస్తాము, ఇది పూర్తిగా ఫ్లాట్-ఫైల్-ఆధారిత మెటాడేటా, మరియు హడూప్ డిస్ట్రిబ్యూటెడ్ ఫైల్ సిస్టమ్ వంటి పంపిణీ చేయబడిన ఫైల్ సిస్టమ్‌లతో బాగా కూర్చుంటుంది. మరియు మేము మా పెద్ద డేటా ఉత్పత్తులను ఉంచినప్పుడు మా వారసత్వాన్ని మెయిన్‌ఫ్రేమ్‌పై, అల్గారిథమ్‌లతో మా నైపుణ్యంపై ప్రభావం చూపుతాము. మరియు మేము హోర్టన్‌వర్క్స్, క్లౌడెరా, మ్యాప్‌ఆర్, స్ప్లంక్‌తో సహా ఇక్కడ ప్రధాన అమ్మకందారులతో, ప్రధాన ఆటగాళ్లతో చాలా సన్నిహితంగా భాగస్వామి. హడూన్‌వర్క్‌తో వారు మా ఉత్పత్తిని హడూప్‌తో ETL ఆన్‌బోర్డింగ్ కోసం తిరిగి విక్రయిస్తున్నట్లు ఇటీవల ప్రకటించారు. డెల్ మరియు క్లౌడెరాతో మాకు చాలా దగ్గరి భాగస్వామ్యం ఉంది, అది వారి పెద్ద డేటా ఉపకరణంలో భాగంగా మా ETL ఉత్పత్తిని కూడా తిరిగి విక్రయిస్తోంది. వాస్తవానికి స్ప్లంక్‌తో, మేము స్ప్లంక్ డాష్‌బోర్డ్‌లలో మెయిన్ఫ్రేమ్ టెలిమెట్రీ మరియు భద్రతా డేటాను ప్రచురిస్తాము. మాకు దగ్గరి భాగస్వామ్యం ఉంది.
ప్రతి సి-స్థాయి ఎగ్జిక్యూటివ్ మనస్సులో ఏముంది? ఇది నిజంగా, “నేను నా డేటా ఆస్తులను ఎలా నొక్కాలి?” అందరూ పెద్ద డేటా గురించి మాట్లాడుతున్నారు. ప్రతి ఒక్కరూ హడూప్, స్పార్క్ గురించి మాట్లాడుతున్నారు, ఇది వ్యాపార చురుకుదనాన్ని సృష్టించడానికి మరియు కొత్త రూపాంతర అనువర్తనాలను తెరవడానికి నాకు సహాయపడే తదుపరి కంప్యూటర్ ప్లాట్‌ఫాం. మార్కెట్‌కు కొత్త అవకాశాలు. ప్రతి ఒక్క ఎగ్జిక్యూటివ్ ఆలోచిస్తూ, “నా డేటా వ్యూహం ఏమిటి, నా డేటా చొరవ ఏమిటి, నేను నా పోటీ వెనుక ఉండకుండా ఎలా చూసుకోవాలి, రాబోయే మూడేళ్ళలో నేను ఈ మార్కెట్లో ఉన్నాను.” మేము. మేము మా కస్టమర్లతో మాట్లాడేటప్పుడు దీన్ని చూడండి, మేము మా గ్లోబల్ కస్టమర్ బేస్ తో మాట్లాడుతున్నప్పుడు, ఇది చాలా పెద్దది, మీరు can హించినట్లుగా, మేము కొంతకాలంగా ఉన్నాము.
మేము ఈ సంస్థలన్నిటితో మాట్లాడేటప్పుడు హడూప్‌తో జరిగిన అంతరాయంలో టెక్నాలజీ స్టాక్‌లో కూడా దీనిని చూస్తాము. డేటా గురించి ఈ డిమాండ్‌ను ఆస్తిగా తీర్చడానికి ఇది నిజంగా ఉంది. ఒక సంస్థ కలిగి ఉన్న అన్ని డేటా ఆస్తులను నియంత్రించడం. ఎంటర్ప్రైజ్ డేటా వేర్‌హౌస్ ఆర్కిటెక్చర్ అభివృద్ధి చెందడాన్ని మేము చూశాము, హడూప్ ఇప్పుడు ఆధునిక డేటా ఆర్కిటెక్చర్ యొక్క కొత్త కేంద్రంగా ఉంది. మరియు మా కస్టమర్లలో చాలా మంది, ఇది ఆర్థిక సేవలు అయినా, భీమా అయినా, రిటైల్ యొక్క టెల్కో అయినా, చొరవలు సాధారణంగా హడూప్‌ను ఒక సేవగా లేదా డేటాను ఒక సేవగా మేము కనుగొంటాము. ఎందుకంటే ప్రతి ఒక్కరూ తమ బాహ్య క్లయింట్లు లేదా అంతర్గత క్లయింట్ల కోసం డేటా ఆస్తులను అందుబాటులో ఉంచడానికి ప్రయత్నిస్తున్నారు. మరియు కొన్ని సంస్థలలో వారి క్లయింట్ల కోసం దాదాపు డేటా మార్కెట్ వంటి కార్యక్రమాలను మేము చూస్తాము.
ఎంటర్ప్రైజ్ డేటా హబ్‌ను సృష్టించడం నుండి అది సాధించే మొదటి దశలలో ఒకటి. కొన్నిసార్లు ప్రజలు దీనిని డేటా లేక్ అని పిలుస్తారు. ఈ ఎంటర్ప్రైజ్ డేటా హబ్‌ను సృష్టించడం వాస్తవానికి అంత సులభం కాదు ఎందుకంటే ఎంటర్‌ప్రైజ్‌లోని వాస్తవంగా ఏదైనా డేటాను ప్రాప్యత చేయడం మరియు సేకరించడం అవసరం. మరియు ఆ డేటా ఇప్పుడు మొబైల్ సెన్సార్లు మరియు లెగసీ డేటాబేస్ వంటి అన్ని కొత్త వనరుల నుండి వచ్చింది మరియు ఇది బ్యాచ్ మోడ్ మరియు స్ట్రీమింగ్ మోడ్‌లో ఉంది. డేటా సమైక్యత ఎల్లప్పుడూ సవాలుగా ఉంది, అయినప్పటికీ, డేటా వనరుల సంఖ్య మరియు విభిన్న డెలివరీ శైలులతో, ఇది బ్యాచ్ అయినా లేదా రియల్ టైమ్ స్ట్రీమింగ్ అయినా, ఐదేళ్ల క్రితం, పదేళ్ల క్రితం తో పోలిస్తే ఇప్పుడు మరింత సవాలుగా ఉంది. మేము కొన్నిసార్లు దీనిని "మీ తండ్రి ETL కాదు" అని సూచిస్తాము.
కాబట్టి మేము వేర్వేరు డేటా ఆస్తుల గురించి మాట్లాడుతాము. ఎంటర్ప్రైజెస్ కొత్త డేటాను, మొబైల్ పరికరాల నుండి సేకరించే డేటాను, కారు తయారీదారులోని సెన్సార్లు లేదా మొబైల్ గేమింగ్ కంపెనీకి ఇది యూజర్ డేటా అని అర్ధం చేసుకోవడానికి ప్రయత్నిస్తున్నప్పుడు, వారు తరచుగా చాలా క్లిష్టమైన డేటా ఆస్తులను సూచించాల్సిన అవసరం ఉంది ఎంటర్ప్రైజ్, ఇది కస్టమర్ సమాచారం, ఉదాహరణకు. ఈ అత్యంత క్లిష్టమైన డేటా ఆస్తులు తరచుగా మెయిన్ఫ్రేమ్లో నివసిస్తాయి. మెయిన్ఫ్రేమ్ డేటాను ఈ అభివృద్ధి చెందుతున్న కొత్త వనరులతో, క్లౌడ్‌లో సేకరించి, మొబైల్ ద్వారా సేకరించి, జపనీస్ కార్ల సంస్థ యొక్క తయారీ మార్గంలో సేకరించిన, లేదా ఇంటర్నెట్ ఆఫ్ థింగ్స్, వారి లెగసీ డేటా సెట్‌లను ప్రస్తావించడం ద్వారా ఈ కొత్త డేటాను అర్థం చేసుకోవాలి. మరియు ఆ లెగసీ డేటా సెట్లు తరచుగా మెయిన్ఫ్రేమ్లో ఉంటాయి.
మరియు ఈ కంపెనీలు అలా చేయలేకపోతే, మెయిన్ఫ్రేమ్ డేటాను నొక్కలేకపోతే, తప్పిన అవకాశం ఉంది. అప్పుడు డేటాను సేవగా, లేదా ఎంటర్ప్రైజ్ డేటా మొత్తాన్ని పరపతి చేయడం సంస్థలోని అత్యంత క్లిష్టమైన ఆస్తులను నిజంగా నొక్కడం లేదు. టెలిమెట్రీ మరియు సెక్యూరిటీ డేటా భాగం కూడా ఉంది, ఎందుకంటే అన్ని లావాదేవీల డేటా మెయిన్ఫ్రేమ్లో నివసిస్తుంది.
మీరు ఎటిఎమ్‌కి వెళుతున్నారని Ima హించుకోండి, బ్యాంకింగ్ వ్యవస్థను రక్షించడం కోసం హాజరైన వారిలో ఒకరు ఇక్కడ పాల్గొనేవారికి ఒక సందేశాన్ని పంపారని నేను భావిస్తున్నాను, మీరు మీ కార్డును స్వైప్ చేస్తున్నప్పుడు లావాదేవీల డేటా ప్రపంచవ్యాప్తంగా మెయిన్ఫ్రేమ్లో చాలా చక్కనిది. మరియు మెయిన్ఫ్రేమ్ల నుండి భద్రతా డేటా మరియు టెలిమెట్రీ డేటాను భద్రపరచడం మరియు సేకరించడం మరియు స్ప్లంక్ డాష్‌బోర్డులు లేదా ఇతరుల ద్వారా అందుబాటులో ఉంచడం, స్పార్క్, SQL, గతంలో కంటే ఇప్పుడు చాలా క్లిష్టంగా మారుతుంది, ఎందుకంటే డేటా పరిమాణం మరియు డేటా యొక్క వైవిధ్యం.
స్కిల్ సెట్స్ అతిపెద్ద సవాళ్లలో ఒకటి. ఒక వైపు మీరు వేగంగా మారుతున్న పెద్ద డేటా స్టాక్‌ను కలిగి ఉన్నందున, ఏ ప్రాజెక్ట్ మనుగడ సాగిస్తుందో మీకు తెలియదు, ఏ ప్రాజెక్ట్ మనుగడ సాగించదు, నేను హైవ్ లేదా పిగ్ డెవలపర్‌లను నియమించాలా? నేను మ్యాప్‌రెడ్యూస్ లేదా స్పార్క్లో పెట్టుబడి పెట్టాలా? లేదా తదుపరి విషయం, ఫ్లింక్, ఎవరో చెప్పారు. నేను ఈ కంప్యూటర్ ప్లాట్‌ఫామ్‌లలో ఒకదానిలో పెట్టుబడి పెట్టాలా? ఒక వైపు, వేగంగా మారుతున్న పర్యావరణ వ్యవస్థను కొనసాగించడం ఒక సవాలు, మరోవైపు మీకు ఈ లెగసీ డేటా వనరులు ఉన్నాయి. క్రొత్త నైపుణ్య సెట్లు నిజంగా సరిపోలడం లేదు మరియు మీకు సమస్య ఉండవచ్చు ఎందుకంటే ఆ వనరులు వాస్తవానికి పదవీ విరమణ కావచ్చు. ఆ లెగసీ డేటా స్టాక్‌లను అర్థం చేసుకునే మరియు అభివృద్ధి చెందుతున్న టెక్నాలజీ స్టాక్‌ను అర్థం చేసుకునే వ్యక్తుల నైపుణ్య సమితుల పరంగా పెద్ద అంతరం ఉంది.
రెండవ సవాలు పాలన. ప్లాట్‌ఫారమ్‌లలో మీరు అన్ని ఎంటర్ప్రైజ్ డేటాను నిజంగా యాక్సెస్ చేస్తున్నప్పుడు, “నా డేటా ల్యాండ్ అవ్వడం నాకు ఇష్టం లేదు” అని ఆందోళన వ్యక్తం చేసిన కస్టమర్లు ఉన్నారు. నా డేటాను బహుళ ప్రదేశాలలో కాపీ చేయకూడదనుకుంటున్నాను ఎందుకంటే వీలైనంతవరకు బహుళ కాపీలను నివారించాలనుకుంటున్నాను. అక్కడ మధ్యలో దిగకుండా ఎండ్-టు-ఎండ్ యాక్సెస్ పొందాలనుకుంటున్నాను. ”ఈ డేటాను నియంత్రించడం ఒక సవాలుగా మారుతుంది. ఇంకొక విషయం ఏమిటంటే, మీరు మీ డేటాను క్లౌడ్‌లో సేకరించి, లెగసీ డేటాను యాక్సెస్ చేసి, ప్రస్తావిస్తుంటే, నెట్‌వర్క్ బ్యాండ్‌విడ్త్ ఒక సమస్యగా మారుతుంది, క్లస్టర్ ప్లాట్‌ఫారమ్. ఈ పెద్ద డేటా చొరవ మరియు అధునాతన అనలిటిక్స్ ప్లాట్‌ఫారమ్‌లను కలిగి ఉండటం మరియు ఇంకా అన్ని ఎంటర్ప్రైజ్ డేటాపై పరపతి పరంగా చాలా సవాళ్లు ఉన్నాయి.
సింక్‌సోర్ట్ ఆఫర్‌లు ఏమిటంటే, మమ్మల్ని “కేవలం ఉత్తమమైనవి” అని పిలుస్తారు, ఎందుకంటే మేము ఉత్తమమైనవి కాని మా కస్టమర్లు నిజంగా మెయిన్ఫ్రేమ్ డేటాను ప్రాప్యత చేయడంలో మరియు సమగ్రపరచడంలో ఉత్తమమైనవిగా సూచిస్తారు. మేము మెయిన్ఫ్రేమ్ నుండి అన్ని డేటా ఫార్మాట్లకు మద్దతు ఇస్తాము మరియు పెద్ద డేటా అనలిటిక్స్ కోసం అందుబాటులో ఉంచుతాము. అది హడూప్ లేదా స్పార్క్ లేదా తదుపరి కంప్యూటర్ ప్లాట్‌ఫారమ్‌లో ఉందా. ఎందుకంటే మా ఉత్పత్తులు కంప్యూటర్ ప్లాట్‌ఫాం యొక్క సంక్లిష్టతలను నిజంగా నిరోధించాయి. మీరు డెవలపర్‌గా, ల్యాప్‌టాప్‌లో అభివృద్ధి చెందుతున్నారు, డేటా పైప్‌లైన్‌పై దృష్టి సారించారు మరియు డేటా సన్నాహాలు ఏమిటి, విశ్లేషణల కోసం ఈ డేటాను రూపొందించే దశలు, తదుపరి దశ, మరియు అదే అనువర్తనాన్ని మ్యాప్‌రెడ్యూస్‌లో తీసుకోండి లేదా తీసుకోండి స్పార్క్లో అదే అప్లికేషన్.
YARN అందుబాటులోకి వచ్చినప్పుడు మేము మా వినియోగదారులకు సహాయం చేసాము మరియు వారు వారి అనువర్తనాలను మ్యాప్‌రెడ్యూస్ వెర్షన్ 1 నుండి YARN కి తరలించాల్సి వచ్చింది. అపాచీ స్పార్క్ విషయంలో కూడా మేము వారికి సహాయం చేస్తున్నాము. మా ఉత్పత్తి, కొత్త విడుదల 9 స్పార్క్తో పాటు నడుస్తోంది మరియు భవిష్యత్ కంప్యూటర్ ఫ్రేమ్‌వర్క్‌ల కోసం ఈ అనువర్తనాలను నిరోధించే డైనమిక్ ఆప్టిమైజేషన్‌తో ఓడలు.
కాబట్టి మేము మెయిన్ఫ్రేమ్ డేటాను యాక్సెస్ చేస్తున్నాము, అది VSAM ఫైల్స్ అయినా, అది DB2 అయినా, లేదా ఇది SMF రికార్డులు లేదా లాగ్ 4 జె లేదా సిస్లాగ్స్ వంటి టెలిమెట్రీ డేటా అయినా, స్ప్లంక్ డాష్బోర్డ్ల ద్వారా దృశ్యమానం కావాలి. మరియు అలా చేస్తున్నప్పుడు, సంస్థ వారి ప్రస్తుత డేటా ఇంజనీర్ లేదా ఇటిఎల్ నైపుణ్య సమితులను ప్రభావితం చేయగలదు కాబట్టి, అభివృద్ధి సమయం గణనీయంగా తగ్గుతుంది. వాస్తవానికి డెల్ మరియు క్లౌడెరాతో, స్పాన్సర్ చేసిన స్వతంత్ర బెంచ్ మార్క్ ఉంది, మరియు మీరు హ్యాండ్ కోడింగ్ చేస్తున్నప్పుడు లేదా సింక్‌సోర్ట్ వంటి ఇతర సాధనాలను ఉపయోగిస్తుంటే అభివృద్ధి సమయంపై ఆ బెంచ్‌మార్క్ దృష్టి పెట్టింది మరియు ఇది అభివృద్ధి సమయంలో 60, 70 శాతం తగ్గింపు . నైపుణ్యాన్ని తగ్గించడం సమూహాలలో, ఆ డేటా ఫైల్ హోస్ట్‌లలో, మరియు ప్రజల పరంగా ఆ డేటా ఫైల్ హోస్ట్‌లలో అంతరాన్ని సెట్ చేస్తుంది.
సాధారణంగా పెద్ద డేటా బృందం, లేదా డేటా ఇన్జెస్ట్ టీం లేదా ఈ డేటాను సేవా ఆర్కిటెక్చర్‌గా అభివృద్ధి చేసే బృందం తప్పనిసరిగా మెయిన్ఫ్రేమ్ బృందంతో మాట్లాడదు. వారు దాదాపు అనేక సంస్థలలో ఆ పరస్పర చర్యను తగ్గించాలని కోరుకుంటారు. ఆ ఖాళీని మూసివేయడం ద్వారా మేము ముందుకు వచ్చాము. మరియు చాలా ముఖ్యమైన భాగం నిజంగా మొత్తం ప్రక్రియను భద్రపరచడం. ఎందుకంటే సంస్థలో మీరు ఈ రకమైన సున్నితమైన డేటాతో వ్యవహరించేటప్పుడు చాలా అవసరాలు ఉన్నాయి.
భీమా మరియు బ్యాంకింగ్ వంటి అధిక నియంత్రిత పరిశ్రమలలో మా కస్టమర్లు అడుగుతారు, “మీరు ఈ మెయిన్ఫ్రేమ్ డేటా యాక్సెస్‌ను అందిస్తున్నారు మరియు ఇది చాలా బాగుంది. నా ఆడిట్ అవసరాలను తీర్చగలిగే ఈ EBCDIC- ఎన్కోడ్ రికార్డ్ ఫార్మాట్‌ను దాని అసలు ఫార్మాట్‌లో ఉంచాలని మీరు నాకు ఇవ్వగలరా? ”కాబట్టి మేము హడూప్ మరియు అపాచీ స్పార్క్ మెయిన్ఫ్రేమ్ డేటాను అర్థం చేసుకుంటాము. మీరు డేటాను దాని అసలు రికార్డ్ ఫార్మాట్‌లో ఉంచవచ్చు, మీ ప్రాసెసింగ్ మరియు లెవల్స్ డిస్ట్రిబ్యూటర్ కంప్యూటర్ ప్లాట్‌ఫామ్ చేయవచ్చు మరియు మీరు దానిని వెనక్కి ఉంచాల్సిన అవసరం ఉంటే రికార్డ్ మార్చబడదని మరియు రికార్డ్ ఫార్మాట్ మార్చబడలేదని మీరు చూపించవచ్చు, మీరు నియంత్రణ అవసరాలకు అనుగుణంగా ఉండవచ్చు .
మరియు చాలా సంస్థలు, వారు డేటా హబ్ లేదా డేటా సరస్సును సృష్టిస్తున్నప్పుడు, ఒరాకిల్ డేటాబేస్లోని వందలాది స్కీమాల నుండి మెటాడేటాను హైవ్ టేబుల్స్ లేదా ORC లేదా పార్క్వెట్ ఫైళ్ళకు మ్యాప్ చేయగలిగేలా వారు ఒకే క్లిక్‌తో దీన్ని చేయడానికి ప్రయత్నిస్తున్నారు. అవసరం అవుతుంది. మేము సాధనాలను రవాణా చేస్తాము మరియు ఇది ఒక-దశల డేటా యాక్సెస్, ఆటో-జనరేటింగ్ ఉద్యోగాలు లేదా డేటా కదలిక మరియు డేటా మ్యాపింగ్ చేయడానికి ఆటో-జనరేటింగ్ ఉద్యోగాలు చేయడానికి సాధనాలను అందిస్తాము.
మేము కనెక్టివిటీ భాగం, సమ్మతి, పాలన మరియు డేటా ప్రాసెసింగ్ గురించి మాట్లాడాము. మరియు మా ఉత్పత్తులు ఆవరణలో మరియు క్లౌడ్‌లో అందుబాటులో ఉన్నాయి, ఇది చాలా సులభం చేస్తుంది ఎందుకంటే నేను పబ్లిక్ క్లౌడ్ వర్సెస్ హైబ్రిడ్‌లో పూర్తిగా వెళ్లాలని నిర్ణయించుకుంటే వచ్చే ఏడాది లేదా రెండు సంవత్సరాల్లో ఏమి జరగబోతోందనే దాని గురించి కంపెనీలు ఆలోచించాల్సిన అవసరం లేదు. పర్యావరణం, కొన్ని సమూహాలు ఆవరణలో లేదా క్లౌడ్‌లో నడుస్తున్నందున. మరియు మా ఉత్పత్తులు అమెజాన్ మార్కెట్ ప్లేస్‌లో, EC2, సాగే మ్యాప్‌రెడ్యూస్‌లో మరియు డాకర్ కంటైనర్‌కు కూడా అందుబాటులో ఉన్నాయి.
ఒక రకమైన చుట్టుముట్టడానికి, కాబట్టి మాకు ప్రశ్నోత్తరాల కోసం తగినంత సమయం ఉంది, ఇది నిజంగా డేటా పాలనను ప్రాప్యత చేయడం, సమగ్రపరచడం మరియు పాటించడం గురించి, ఇంకా ఇవన్నీ సరళంగా చేస్తుంది. దీన్ని సరళంగా చేసేటప్పుడు, మా ఓపెన్-సోర్స్ రచనల కారణంగా “ఒకసారి రూపకల్పన చేసి ఎక్కడైనా నియోగించండి” మా ఉత్పత్తి హడూప్ డేటా ప్రవాహంలో స్థానికంగా మరియు స్పార్క్తో స్థానికంగా నడుస్తుంది, వేగంగా మారుతున్న పర్యావరణ వ్యవస్థ నుండి సంస్థలను ఇన్సులేట్ చేస్తుంది. మరియు బ్యాచ్ మరియు స్ట్రీమింగ్ కోసం ఒకే డేటా పైప్‌లైన్, ఒకే ఇంటర్‌ఫేస్‌ను అందిస్తుంది.
సంస్థలకు కొన్నిసార్లు ఈ ఫ్రేమ్‌వర్క్‌లను అంచనా వేయడానికి కూడా ఇది సహాయపడుతుంది, ఎందుకంటే మీరు నిజంగా అనువర్తనాలను సృష్టించాలనుకోవచ్చు మరియు మ్యాప్‌రెడ్యూస్ వర్సెస్ స్పార్క్లో నడుచుకోండి మరియు మీ కోసం చూడండి, అవును, స్పార్క్ ఈ వాగ్దానాన్ని కలిగి ఉంది మరియు ఉత్తమ యంత్ర అభ్యాసం కోసం పునరుత్పాదక అల్గోరిథంలపై అన్ని ముందస్తు పనిని అందిస్తుంది మరియు ప్రిడిక్టివ్ అనలిటిక్స్ అనువర్తనాలు స్పార్క్తో పని చేస్తాయి, ఈ కంప్యూటర్ ఫ్రేమ్‌వర్క్‌లో నా స్ట్రీమింగ్ మరియు బ్యాచ్ పనిభారాన్ని కూడా చేయవచ్చా? మీరు మా ఉత్పత్తులను ఉపయోగించి వివిధ కంప్యూటర్ ప్లాట్‌ఫారమ్‌లను పరీక్షించవచ్చు. మరియు మీరు ల్యాప్‌టాప్‌లో, గూగుల్ క్లౌడ్ వర్సెస్ అపాచీ స్పార్క్లో స్వతంత్ర సర్వర్‌లో నడుస్తున్నారా అనే డైనమిక్ ఆప్టిమైజేషన్ నిజంగా మా వినియోగదారులకు పెద్ద విలువ ప్రతిపాదన. మరియు అది నిజంగా వారు ఎదుర్కొన్న సవాళ్ళతో నడిచేది.
నేను కేస్ స్టడీస్‌లో ఒకదాన్ని కవర్ చేస్తాను. ఇది గార్డియన్ లైఫ్ ఇన్సూరెన్స్ కంపెనీ. మరియు గార్డియన్ యొక్క చొరవ నిజంగా వారి డేటా ఆస్తులను కేంద్రీకరించి, వారి ఖాతాదారులకు అందుబాటులో ఉంచడం, డేటా తయారీ సమయాన్ని తగ్గించడం మరియు మొత్తం డేటా ప్రాసెసింగ్ పైప్‌లైన్‌లో 80 శాతం తీసుకునే ప్రతి ఒక్కరూ డేటా తయారీ గురించి మాట్లాడుతారని వారు చెప్పారు. వారికి 75 నుండి 80 శాతం మరియు వారు డేటా తయారీ, పరివర్తన సమయాలు, విశ్లేషణ ప్రాజెక్టుల కోసం మార్కెట్ నుండి సమయం తగ్గించాలని కోరుకున్నారు. వారు కొత్త డేటా వనరులను జోడించినప్పుడు ఆ చురుకుదనాన్ని సృష్టించండి. మరియు వారి ఖాతాదారులందరికీ కేంద్రీకృత డేటా ప్రాప్యతను అందుబాటులో ఉంచండి.
సింక్‌సోర్ట్ ఉత్పత్తులతో సహా వారి పరిష్కారం ప్రస్తుతం వారికి అమెజాన్ మార్కెట్‌ప్లేస్ లుకలైక్ డేటా మార్కెట్‌ప్లేస్ ఉంది, దీనికి డేటా లేక్ మద్దతు ఉంది, ఇది ప్రాథమికంగా హడూప్ మరియు నోస్క్యూల్ డేటాబేస్. మరియు మెయిన్ఫ్రేమ్లోని DB2 తో సహా మెయిన్ఫ్రేమ్లోని VSAM ఫైల్‌లు మరియు డేటాబేస్ లెగసీ డేటా సోర్స్‌లతో పాటు కొత్త డేటా సోర్స్‌లతో సహా అన్ని డేటా ఆస్తులను డేటా లేక్‌కు తీసుకురావడానికి వారు మా ఉత్పత్తులను ఉపయోగిస్తారు. మరియు దాని ఫలితంగా వారు తమ ఖాతాదారులకు శోధించదగిన, ప్రాప్యత మరియు అందుబాటులో ఉన్న పునర్వినియోగ డేటా ఆస్తులను కేంద్రీకృతం చేశారు. మరియు వారు నిజంగా క్రొత్త డేటా వనరులను జోడించగలరు మరియు వారి ఖాతాదారులకు మునుపటి కంటే చాలా వేగంగా మరియు సమర్థవంతంగా సేవ చేయగలరు. మరియు విశ్లేషణ కార్యక్రమాలు కూడా side హాజనిత వైపు మరింత పురోగమిస్తున్నాయి. కాబట్టి నేను పాజ్ చేస్తాను మరియు ఇది ఉపయోగకరంగా ఉంటుందని నేను ఆశిస్తున్నాను మరియు మీకు సంబంధించిన ఏవైనా విషయాల గురించి మీకు ఏవైనా ప్రశ్నలు ఉంటే, మీకు స్వాగతం.
ఎరిక్ కవనాగ్ : ఖచ్చితంగా, మరియు టెండే, నేను ఒకదాన్ని విసిరేస్తాను. ప్రేక్షకుల సభ్యుడి నుండి నాకు ఒక వ్యాఖ్య వచ్చింది, “నాకు ఈ డిజైన్ ఒకసారి ఇష్టం, ఎక్కడైనా మోహరించండి.” ఇది ఎలా నిజమో మీరు త్రవ్వగలరా? నా ఉద్దేశ్యం, ఆ రకమైన చురుకుదనాన్ని ప్రారంభించడానికి మీరు ఏమి చేసారు మరియు ఏదైనా పన్ను ఉందా? మేము వర్చువలైజేషన్ గురించి మాట్లాడేటప్పుడు, ఉదాహరణకు, పనితీరుపై ఎల్లప్పుడూ కొంత పన్ను ఉంటుంది. కొంతమంది రెండు శాతం, ఐదు శాతం 10 శాతం అంటున్నారు. డిజైన్‌ను ఒకసారి ప్రారంభించడానికి, ఎక్కడైనా మోహరించడానికి మీరు ఏమి చేసారు - మీరు దీన్ని ఎలా చేస్తారు మరియు పనితీరు పరంగా దానితో సంబంధం ఉన్న ఏదైనా పన్ను ఉందా?
Tendü Yogurtçu: ఖచ్చితంగా, ధన్యవాదాలు. లేదు, ఎందుకంటే కొన్ని ఇతర అమ్మకందారుల మాదిరిగా కాకుండా మేము నిజంగా అందులో నివశించే తేనెటీగలు లేదా పిగ్ లేదా మా ఇంజిన్‌లకు స్థానికంగా లేని కొన్ని ఇతర కోడ్‌లను ఉత్పత్తి చేయము. ఇక్కడే మా ఓపెన్-సోర్స్ రచనలు భారీ పాత్ర పోషించాయి, ఎందుకంటే మేము హడూప్ విక్రేతలు, క్లౌడెరా, హోర్టన్‌వర్క్స్ మరియు మ్యాప్‌ఆర్‌లతో చాలా దగ్గరగా పని చేస్తున్నాము మరియు మా ఓపెన్-సోర్స్ రచనల కారణంగా, వాస్తవానికి మా ఇంజిన్ ప్రవాహంలో భాగంగా స్థానికంగా నడుస్తోంది, హడూప్ ప్రవాహంలో భాగంగా, స్పార్క్లో భాగంగా.
అది కూడా అనువదిస్తుంది, మాకు ఈ డైనమిక్ ఆప్టిమైజేషన్ ఉంది. ఇది మా కస్టమర్లు కంప్యూటర్ ఫ్రేమ్‌వర్క్‌లతో సవాలు చేయబడిన ఫలితంగా వచ్చిన విషయం. వారు కొన్ని అనువర్తనాలతో ఉత్పత్తికి వెళుతున్నప్పుడు, వారు తిరిగి వచ్చారు, “నేను నా హడూప్ క్లస్టర్‌ను స్థిరీకరిస్తున్నాను, మ్యాప్‌రెడ్యూస్ యార్న్ వెర్షన్ 2, మ్యాప్‌రెడ్యూస్ వెర్షన్ 2 పై స్థిరీకరించాను మరియు మ్యాప్‌రెడ్యూస్ చనిపోయిందని ప్రజలు మాట్లాడుతున్నారు, స్పార్క్ ఉంది తదుపరి విషయం, మరియు కొంతమంది ఫ్లింక్ తదుపరి విషయం అని చెప్తున్నారు, నేను దీన్ని ఎలా ఎదుర్కోబోతున్నాను? ”
మరియు ఆ సవాళ్లు నిజంగా మాకు చాలా స్పష్టంగా కనిపించాయి, ఈ డైనమిక్ ఆప్టిమైజేషన్‌ను మేం ఇంటెలిజెంట్ ఎగ్జిక్యూషన్ అని పిలుస్తాము. రన్ టైమ్‌లో, ఉద్యోగం చేసినప్పుడు, ఈ డేటా పైప్‌లైన్ సమర్పించినప్పుడు, క్లస్టర్ ఆధారంగా, అది స్పార్క్ అయినా, మ్యాప్‌రెడ్యూస్ అయినా లేదా లైనక్స్ స్వతంత్ర సర్వర్ అయినా, ఈ ఉద్యోగాన్ని ఎలా అమలు చేయాలో మేము నిర్ణయిస్తాము, స్థానికంగా మా ఇంజిన్‌లో, అందులో భాగంగా హడూప్ లేదా స్పార్క్ డేటా ప్రవాహం. ఓవర్ హెడ్ లేదు ఎందుకంటే ప్రతిదీ మన వద్ద ఉన్న ఈ డైనమిక్ ఆప్టిమైజేషన్ ద్వారా జరుగుతుంది మరియు ప్రతిదీ కూడా జరుగుతుంది ఎందుకంటే మా ఓపెన్ సోర్స్ రచనల వల్ల మా ఇంజిన్ స్థానికంగా కలిసిపోయింది. అది మీ ప్రశ్నకు సమాధానం ఇస్తుందా?
ఎరిక్ కవనాగ్: అవును, అది మంచిది. నేను అక్కడ మరో ప్రశ్నను విసిరేయాలనుకుంటున్నాను, ఆపై డెజ్, బహుశా మేము మిమ్మల్ని మరియు రాబిన్ను కూడా లాగుతాము. మా హాజరైన వారిలో ఒకరి నుండి నాకు ఉల్లాసమైన వ్యాఖ్య వచ్చింది. నేను చదువుతాను ఎందుకంటే ఇది నిజంగా చాలా చిన్నది. అతను ఇలా వ్రాశాడు, "విషయాల చరిత్రలో హాట్" - దాన్ని పొందాలా? IoT లాగా - "అంటే మీరు నిజంగా సంక్లిష్టంగా ఉన్నదాన్ని 'సరళీకృతం చేయడానికి' ఎంత ఎక్కువ ప్రయత్నిస్తారో, చాలా తరచుగా పనులు చేయడం సరళంగా కాకుండా, మరింత ఉరి తాడు సరఫరా చేయబడుతుంది. డేటాబేస్ ప్రశ్న, పేలుడు, మల్టీ-థ్రెడింగ్ మొదలైనవి ఆలోచించండి. ”అతను సూచించే ఈ పారడాక్స్ గురించి మీరు రకమైన వ్యాఖ్యానించగలరా? సరళత మరియు సంక్లిష్టత మరియు ప్రాథమికంగా కవర్ల క్రింద నిజంగా ఏమి జరుగుతోంది?
Tendü Yogurtçu: తప్పకుండా. ఇది చాలా చెల్లుబాటు అయ్యే పాయింట్ అని నేను అనుకుంటున్నాను. మీరు విషయాలను సరళీకృతం చేస్తున్నప్పుడు మరియు ఈ ఆప్టిమైజేషన్లను చేస్తున్నప్పుడు, కవర్ల క్రింద, జరగవలసిన దాని యొక్క సంక్లిష్టతను ఎవరైనా తీసుకోవాలి, సరియైనదా? మీరు ఏదో స్తంభింపజేస్తుంటే లేదా కంప్యూటర్ ఫ్రేమ్‌వర్క్‌కు సంబంధించి ఒక నిర్దిష్ట ఉద్యోగాన్ని ఎలా అమలు చేయాలో మీరు నిర్ణయిస్తుంటే, ఉద్యోగంలో కొంత భాగం యూజర్ ఎండ్, మెనూ కోడింగ్, లేదా ఇంజిన్ ఆప్టిమైజేషన్ వద్ద ఉందా అని నెట్టబడుతోంది. దానిలో ఒక భాగం ఉంది, వినియోగదారు అనుభవాన్ని సరళీకృతం చేయడం ద్వారా సంస్థలో ఉన్న నైపుణ్యం సమితులను ప్రభావితం చేయగలగడం వల్ల భారీ ప్రయోజనం ఉంది.
మరియు మీరు ఆ పారడాక్స్ను తగ్గించవచ్చు, “అవును, కానీ కవర్ కింద, ఆ ఇంజిన్లోని హుడ్ కింద, జరుగుతున్న ప్రతిదానిపై నాకు నియంత్రణ లేదు, ” వారు మరింత ఆధునిక వినియోగదారులకు విషయాలను బహిర్గతం చేయడం ద్వారా ఆ రకమైన నియంత్రణను కలిగి ఉండాలనుకుంటున్నాను. కొన్ని సేవా సామర్థ్యం రకాల్లో కూడా పెట్టుబడి పెట్టడం ద్వారా. SQL హాజరు కోసం మరియు ఇంజిన్ రన్నింగ్‌తో, ఈ హాజరైన వ్యక్తి ఇచ్చిన ఉదాహరణలో, మరింత కార్యాచరణ మెటాడేటాను, మరింత కార్యాచరణ డేటాను అందించగలుగుతారు. నేను సమాధానం ఇస్తానని ఆశిస్తున్నాను.
ఎరిక్ కవనాగ్: అవును అది బాగుంది. దేజ్, దాన్ని తీసివేయండి.
డెజ్ బ్లాంచ్ఫీల్డ్: ఓపెన్-సోర్స్ రచనలు మరియు మెయిన్ఫ్రేమ్ మరియు యాజమాన్య ప్రపంచంలో మీ సాంప్రదాయిక, దీర్ఘకాలిక అనుభవం నుండి మీరు తీసుకున్న ప్రయాణంలో మీ అడుగుజాడల గురించి కొంచెం ఎక్కువ అవగాహన పొందడానికి నేను నిజంగా ఆసక్తిగా ఉన్నాను. ఓపెన్ సోర్స్కు దోహదం చేస్తుంది మరియు అది ఎలా జరిగింది. నేను అర్థం చేసుకోవడానికి ఆసక్తిగా ఉన్న మరొక విషయం ఏమిటంటే, వ్యాపారాలు, ఐటి విభాగాలు మాత్రమే కాదు, వ్యాపారాలు ఇప్పుడు డేటా హబ్‌లు లేదా డేటా సరస్సులకు సంబంధించి ప్రజలు ఇప్పుడు చెబుతున్నట్లుగా మరియు వారు ఈ ధోరణిని చూస్తున్నారా అని చూస్తున్నారు. కేవలం ఒకే, ఏకీకృత డేటా సరస్సు లేదా మేము పంపిణీ చేసిన డేటా సరస్సులను చూస్తున్నామా మరియు ప్రజలు వాటిని కలిసి ఉంచడానికి సాధనాలను ఉపయోగిస్తున్నారా?
Tendü Yogurtçu: తప్పకుండా. మొదటిదానికి, ఇది చాలా ఆసక్తికరమైన ప్రయాణం, యాజమాన్య సాఫ్ట్‌వేర్ సంస్థగా, ఐబిఎమ్ తరువాత మొదటి వాటిలో ఒకటి. అయితే, మళ్ళీ, మా సువార్తికుడు కస్టమర్లు హడూప్ వైపు చూడటం తో ప్రతిదీ ప్రారంభమైంది. మాకు కామ్‌స్కోర్ వంటి డేటా కంపెనీలు ఉన్నాయి, అవి హడూప్‌ను స్వీకరించిన వారిలో మొదటివి, ఎందుకంటే అవి ప్రపంచవ్యాప్తంగా డిజిటల్ డేటాను సేకరిస్తున్నాయి మరియు పది మిలియన్ డాలర్ల డేటా గిడ్డంగి పెట్టెను వాటిలో పెట్టుబడి పెట్టకపోతే 90 రోజుల డేటాను ఉంచలేకపోయాయి. వాతావరణంలో. వారు హడూప్ వైపు చూడటం ప్రారంభించారు. దానితో మేము హడూప్ వైపు చూడటం ప్రారంభించాము.
మరియు మేము ఒక నిర్ణయం తీసుకున్నప్పుడు మరియు హడూప్ నిజంగా భవిష్యత్ యొక్క డేటా ప్లాట్‌ఫామ్‌గా ఉండబోతున్నట్లు అంగీకరించినప్పుడు, మేము కూడా ఇందులో ఒక నాటకాన్ని కలిగి ఉండలేము, ఇందులో విజయవంతమైన నాటకం, మనం తప్ప పర్యావరణ వ్యవస్థలో ఒక భాగం. క్లౌడెరా, హోర్టన్‌వర్క్స్, మ్యాప్‌ఆర్ మొదలైన వాటితో మేము హడూప్ విక్రేతలతో చాలా సన్నిహితంగా పని చేస్తున్నాము. మేము వారితో నిజంగా మాట్లాడటం ప్రారంభించాము ఎందుకంటే ఒక విక్రేత తీసుకురాగల విలువను ధృవీకరించడానికి భాగస్వామ్యం చాలా ముఖ్యమైనది మరియు మేము సంయుక్తంగా సంస్థకు వెళ్ళగలమని కూడా నిర్ధారిస్తుంది మరియు మరింత అర్ధవంతమైనదాన్ని అందించండి. అపాచీ ఓపెన్-సోర్స్ ప్రాజెక్టులకు మాకు తెలియదు కాబట్టి దీనికి చాలా రిలేషన్ బిల్డింగ్ అవసరం, అయితే ఈ హడూప్ విక్రేతల నుండి మాకు గొప్ప మద్దతు ఉంది, నేను తప్పక చెప్పాలి.
మేము కలిసి పనిచేయడం మొదలుపెట్టాము మరియు హబ్ వైపు చూడటం మొదలుపెట్టాము, అంతరిక్షంలో మా యజమాని సాఫ్ట్‌వేర్ కూడా లేకుండా విలువను ఎలా తీసుకురాగలము. అది ముఖ్యమైనది. ఇది మీ ఉత్పత్తిని అమలు చేయగల కొన్ని API లను ఉంచడం గురించి మాత్రమే కాదు, నేను ఇందులో పెట్టుబడి పెడతాను అని చెప్పగలుగుతున్నాను ఎందుకంటే హడూప్ భవిష్యత్ వేదికగా అవతరిస్తుందని నేను నమ్ముతున్నాను, కాబట్టి మేము చేయాలనుకున్న మూలాల్లో పెట్టుబడి పెట్టడం ద్వారా ఖచ్చితంగా అది పరిపక్వం చెందుతుంది మరియు సంస్థ సిద్ధంగా ఉంటుంది. మా రచనలకు ముందు అందుబాటులో లేని కొన్ని ఉపయోగ సందర్భాలను మేము నిజంగా ప్రారంభించవచ్చు. అది మొత్తం పర్యావరణ వ్యవస్థకు ప్రయోజనం చేకూరుస్తుంది మరియు మేము ఆ భాగస్వామ్యాన్ని చాలా దగ్గరగా అభివృద్ధి చేయవచ్చు.
దీనికి చాలా సమయం పట్టింది. మేము 2011, మరియు 2013, జనవరి 21 న సహకరించడం ప్రారంభించాము - ఆ తేదీని నేను గుర్తుంచుకున్నాను ఎందుకంటే ఆ తేదీ మా అతిపెద్ద సహకారం కట్టుబడి ఉంది, దీని అర్థం మన ఉత్పత్తులను ఆ సమయం నుండి సాధారణంగా అందుబాటులో ఉంచవచ్చు - ఆ సంబంధాలను అభివృద్ధి చేయడానికి కొంత సమయం పట్టింది, విలువను చూపించు, భాగస్వాములు విక్రేతలతో మరియు ఓపెన్ సోర్స్ కమ్యూనిటీలోని కట్టుబాట్లతో డిజైన్ భాగస్వాములు అవుతారు. కానీ చాలా సరదాగా ఉంది. ఆ పర్యావరణ వ్యవస్థలో భాగం కావడం మరియు గొప్ప భాగస్వామ్యాన్ని అభివృద్ధి చేయడం మాకు ఒక సంస్థగా చాలా బహుమతిగా ఉంది.
డేటా హబ్ / డేటా సరస్సు గురించి రెండవ ప్రశ్న, ఈ డేటాను చాలా సందర్భాల్లో సేవా అమలుగా చూసినప్పుడు నేను అనుకుంటున్నాను, అవును, ఇది సమూహాలు, భౌతికంగా ఒకే లేదా బహుళ సమూహాలు కావచ్చు, కానీ ఇది ఒకే స్థలం కావడం కంటే ఎక్కువ సంభావితమైనది అన్ని డేటా కోసం. ఎందుకంటే కొన్ని సంస్థలలో మేము పెద్ద క్లస్టర్ విస్తరణలను ఆవరణలో చూస్తాము, అయినప్పటికీ వాటికి క్లస్టర్లు కూడా ఉన్నాయి, ఉదాహరణకు, పబ్లిక్ క్లౌడ్‌లో ఎందుకంటే ఆన్‌లైన్ విభాగాల నుండి సేకరించిన కొన్ని డేటా నిజంగా క్లౌడ్‌లో ఉంచబడుతుంది. మీరు ఈ రెండింటినీ నిజంగా ప్రభావితం చేయగల ఒకే డేటా పైప్‌లైన్‌ను కలిగి ఉండగలుగుతారు మరియు వాటిని ఒకే డేటా హబ్‌గా ఉపయోగించుకోవచ్చు, సింగిల్ డేటా లేక్ ముఖ్యమైనది. భౌతిక స్థలం మాత్రమే కాదు, ఆ డేటా హబ్ మరియు డేటా లేక్ క్లస్టర్లలో, భౌగోళికాలలో మరియు ఆవరణ మరియు క్లౌడ్‌లో ఉండటం చాలా క్లిష్టమైనది అని నేను అనుకుంటున్నాను. ముఖ్యంగా ముందుకు కదులుతోంది. ఈ సంవత్సరం మేము మరింత ఎక్కువ క్లౌడ్ విస్తరణలను చూడటం ప్రారంభించాము. ఇది అద్భుతం. ఈ సంవత్సరం మొదటి సగం ఇప్పటివరకు మేము చాలా క్లౌడ్ విస్తరణలను చూశాము.
ఎరిక్ కవనాగ్: సరే, బాగుంది. మరియు రాబిన్, మీకు ఏమైనా ప్రశ్నలు ఉన్నాయా? నాకు తెలుసు, మాకు కొద్ది నిమిషాలు మిగిలి ఉన్నాయి.
రాబిన్ బ్లూర్: సరే, నేను ఆమెను ఒక ప్రశ్న అడగగలను . నాకు సంభవించిన మొదటి విషయం ఏమిటంటే, కాఫ్కా గురించి చాలా ఉత్సాహం ఉంది మరియు కాఫ్కా గురించి మీ అభిప్రాయం పట్ల నాకు ఆసక్తి ఉంది మరియు ప్రజలు కాఫ్కాను ఉపయోగిస్తున్న విధానంతో మీరు ఎలా కలిసిపోతారు?
Tendü Yogurtçu: తప్పకుండా. అవును, కాఫ్కా బాగా ప్రాచుర్యం పొందింది. మా కస్టమర్లలో మేము డేటా ట్రాన్స్‌పోర్ట్ లేయర్‌గా ఉండటం మరియు డేటా బస్సు అని చాలా చక్కగా చూశాము. ఉదాహరణకు, మా కస్టమర్లలో ఒకరు వాస్తవానికి ఈ కాఫ్కాలోకి వేలాది మంది ఆన్‌లైన్ వినియోగదారుల మాదిరిగా నెట్టివేయబడే ఒక రకమైన డేటాను ఉపయోగిస్తున్నారు మరియు దానిని వర్గీకరించడానికి మరియు ముందుకు సాగడానికి వీలుంటుంది.
మళ్ళీ, కాఫ్కా ఈ డేటా యొక్క విభిన్న వినియోగదారులకు డేటా బస్సు. అంతగా అభివృద్ధి చెందని వినియోగదారులకు వ్యతిరేకంగా కొంతమంది అధునాతన వినియోగదారులను వర్గీకరించండి మరియు ఆ డేటా పైప్‌లైన్‌లో భిన్నంగా ముందుకు సాగండి. మేము కాఫ్కాతో ఎలా కలిసిపోతాము అనేది ప్రాథమికంగా, మా ఉత్పత్తి DMX-h విశ్వసనీయ వినియోగదారుగా మారుతుంది, కాఫ్కాకు అత్యంత సమర్థవంతమైన, నమ్మదగిన వినియోగదారు. ఇది డేటాను చదవగలదు మరియు ఇది మనకు ఇతర డేటా సోర్స్ నుండి డేటాను చదవడం కంటే భిన్నంగా లేదు. వినియోగదారులకు వారు కలిగి ఉన్న సమయ అవసరాన్ని బట్టి లేదా కాఫ్కా బస్సు నుండి వారు వినియోగించే సందేశాల సంఖ్యను బట్టి విండోను నియంత్రించే సామర్థ్యాన్ని మేము ఇస్తాము. ఆపై మేము ఆ డేటాను సుసంపన్నం చేయవచ్చు, ఎందుకంటే ఇది మా ఉత్పత్తి ద్వారా వెళుతుంది మరియు తిరిగి కాఫ్కాలోకి నెట్టబడుతుంది. మేము దీనిని పరీక్షించాము. మేము దీన్ని కస్టమర్ సైట్ వద్ద బెంచ్ మార్క్ చేసాము. సంగమం ద్వారా కూడా ధృవీకరించబడింది. మేము సంగమ కుర్రాళ్ళతో కలిసి పని చేస్తాము మరియు ఇది చాలా ఎక్కువ పనితీరు మరియు ఉపయోగించడానికి సులభం. మళ్ళీ, అక్కడ API లు మారుతాయి కాని మీరు ఆందోళన చెందాల్సిన అవసరం లేదు ఎందుకంటే ఉత్పత్తి నిజంగా మరొక డేటా సోర్స్, స్ట్రీమింగ్ డేటా సోర్స్ గా పరిగణిస్తుంది. వాస్తవానికి మా ఉత్పత్తి మరియు కాఫ్కాతో పనిచేయడం చాలా సరదాగా ఉంటుంది.
రాబిన్ బ్లూర్: సరే నాకు మరొక ప్రశ్న ఉంది, ఇది ఒక సాధారణ వ్యాపార ప్రశ్న, కానీ నాకు చాలాకాలంగా సింక్‌సోర్ట్ తెలుసు మరియు మీకు ఎల్లప్పుడూ ఖ్యాతి ఉంది మరియు ETL మరియు మెయిన్ఫ్రేమ్ ప్రపంచానికి అసాధారణమైన వేగవంతమైన సాఫ్ట్‌వేర్‌ను అందించారు. మీ వ్యాపారం చాలావరకు ఇప్పుడు హడూప్‌కు బదిలీ అవుతుందా? ఒక విధంగా లేదా మరొక విధంగా మీరు మీ వ్యాపారాన్ని మెయిన్ఫ్రేమ్ ప్రపంచం నుండి చాలా నాటకీయంగా విస్తరించారా?
Tendü Yogurtçu: మా మెయిన్ఫ్రేమ్ ఉత్పత్తులు ఇప్పటికీ ప్రపంచవ్యాప్తంగా 50 శాతం మెయిన్ఫ్రేమ్లను నడుపుతున్నాయి. కాబట్టి మేము పెద్ద డేటా మరియు హడూప్ ముగింపులో ఏమి చేస్తున్నామో దానికి అదనంగా చాలా బలమైన మెయిన్ఫ్రేమ్ ఉత్పత్తి శ్రేణిని కలిగి ఉన్నాము. మరియు మేము ఇంకా చాలా ఐటి సరళీకరణ లేదా ఆప్టిమైజేషన్ ప్రాజెక్టులలో ఉన్నాము ఎందుకంటే పెద్ద డేటా మల్టెక్స్ ప్లాట్‌ఫామ్‌లలో మీ మెయిన్ఫ్రేమ్ డేటాను నొక్కండి మరియు అన్ని ఎంటర్ప్రైజ్ డేటాను ప్రభావితం చేయగలగాలి అని ఒక ముగింపు ఉంది, అయితే చాలా క్లిష్టమైన లావాదేవీల పనిభారం కూడా ఉన్నాయి అది ఇప్పటికీ మెయిన్ఫ్రేమ్లో నడుస్తూనే ఉంది మరియు మేము ఆ వినియోగదారులకు ఆ అనువర్తనాలను మరింత సమర్థవంతంగా చేయడానికి, zIIP ఇంజిన్‌లో అమలు చేయడానికి మార్గాలను అందిస్తున్నాము, తద్వారా అవి ఎక్కువ ప్రాసెసింగ్ సైకిల్స్ మరియు MIPS ను వినియోగించవు, వాటిని ఖర్చుతో కూడుకున్నవిగా చేస్తాయి.
మేము మెయిన్ఫ్రేమ్ ఉత్పత్తులలో పెట్టుబడులు పెట్టడం కొనసాగిస్తాము మరియు వాస్తవానికి ప్రజలు మెయిన్ఫ్రేమ్ పెద్ద ఇనుము నుండి పెద్ద డేటాకు వెళ్లి ఈ ప్లాట్‌ఫామ్‌లలో ఉత్పత్తి శ్రేణిని విస్తరిస్తారు. కాబట్టి మేము మొత్తం వ్యాపారాన్ని ఒక వైపుకు మార్చాల్సిన అవసరం లేదు, మేము రెండు వైపులా చాలా విజయవంతమైన వ్యాపారాన్ని కొనసాగిస్తున్నాము. మరియు సముపార్జనలు మాకు కూడా పెద్ద దృష్టి. పెద్ద డేటా ప్లాట్‌ఫారమ్‌ల కోసం ఈ డేటా మేనేజ్మెంట్ మరియు డేటా ప్రాసెసింగ్ స్థలం అభివృద్ధి చెందుతున్నందున మేము చాలా తక్కువ అభినందనలు చేయడానికి కూడా కట్టుబడి ఉన్నాము.
రాబిన్ బ్లూర్: సరే, అవి ఏమిటో నేను మిమ్మల్ని అడగలేనని ఎందుకంటే మీరు నాకు చెప్పడానికి అనుమతించబడరు. హడూప్ లేదా స్పార్క్ యొక్క అనేక అమలులను మీరు నిజంగా మెయిన్ఫ్రేమ్లో చూశారా లేదా అది చాలా అరుదైన విషయం కాదా అనే దానిపై నాకు ఆసక్తి ఉంది.
Tendü Yogurtçu: మేము ఏదీ చూడలేదు. దాని గురించి మరింత ప్రశ్న ఉంది. మెయిన్ఫ్రేమ్లోని హడూప్ కోర్ నిర్మాణం కారణంగా చాలా అర్ధవంతం కాలేదని నేను అనుకుంటున్నాను. అయితే మెయిన్‌ఫ్రేమ్‌పై స్పార్క్ చాలా అర్ధవంతమైనది మరియు మెషీన్ లెర్నింగ్ మరియు ప్రిడిక్టివ్ అనలిటిక్స్‌తో స్పార్క్ నిజంగా చాలా బాగుంది మరియు మెయిన్ఫ్రేమ్ డేటాతో ఆ అనువర్తనాల్లో కొన్నింటిని కలిగి ఉండటం నిజంగా చాలా అర్ధవంతమైనది. ఇంతవరకు ఎవరూ అలా చేయడం మేము చూడలేదు, అయితే ఇది నిజంగా ఈ విషయాలను నడిపించే ఉపయోగం. ఒక సంస్థగా మీ ఉపయోగం కేసు ఆ మెయిన్ఫ్రేమ్ డేటాను మరింత తీసుకువస్తుంటే మరియు పెద్ద డేటా ప్లాట్‌ఫామ్‌లోని మిగిలిన డేటా సెట్‌లతో అనుసంధానించబడి ఉంటే, అది ఒక కథ. దీనికి పెద్ద డేటా మల్టెక్స్ ప్లాట్‌ఫాం నుండి మెయిన్ఫ్రేమ్ డేటాను యాక్సెస్ చేయడం అవసరం ఎందుకంటే మీరు మీ డేటా సెట్‌లను ఓపెన్ సిస్టమ్స్ నుండి తీసుకురావడానికి అవకాశం లేదు మరియు మెయిన్‌ఫ్రేమ్‌కు తిరిగి పిలుస్తారు. అయినప్పటికీ, మీరు కొన్ని మెయిన్ఫ్రేమ్ డేటాను కలిగి ఉంటే, మీరు కొంచెం డేటా అన్వేషణ ఆవిష్కరణను అన్వేషించాలనుకుంటే, కొన్ని అధునాతన AI మరియు అధునాతన విశ్లేషణలను వర్తింపజేయండి, అప్పుడు స్పార్క్ వెళ్ళడానికి మరియు మెయిన్ఫ్రేమ్లో అమలు చేయడానికి మంచి మార్గం కావచ్చు.
ఎరిక్ కవనాగ్: మరియు ఇక్కడ ప్రేక్షకుల నుండి మరో ప్రశ్న ఉంది, వాస్తవానికి మరో రెండు. నేను మీకు ట్యాగ్-టీమ్ ప్రశ్న ఇస్తాను, అప్పుడు మేము మూటగట్టుకుంటాము. ఒక హాజరైన వ్యక్తి అడుగుతున్నాడు, “ఐబిఎమ్ మీ ఓపెన్-సోర్స్ సహకారాన్ని దాని పబ్లిక్ క్లౌడ్ ఎకోసిస్టమ్‌లో, బ్లూమిక్స్లో ఏకీకృతం చేస్తున్నారా?” మరియు మరొక హాజరైనవారు మంచి విషయం చెప్పారు, పెద్ద ఇనుమును సజీవంగా ఉంచడానికి సింక్‌సోర్ట్ గొప్పదని పేర్కొంది ఇప్పటికే అది కలిగి ఉంది, కాని కంపెనీలు అతను CE అని పిలిచే దానికి అనుకూలంగా కొత్త మెయిన్ఫ్రేమ్లను వదులుకుంటే, ప్రతిదీ క్లౌడ్ అవుతుంది, అది క్షీణిస్తుంది, కాని ఆపరేటింగ్ సిస్టమ్‌లను సెకనుకు గిగాబైట్ వరకు దాటవేయడం ద్వారా డేటాను తరలించడంలో మీరు నిజంగా మంచివారని గమనించండి. అతను చెప్పినట్లుగా, మీ ప్రధాన బలం గురించి మరియు ఐబిఎమ్ మీ అంశాలను బ్లూమిక్స్లో ఏకీకృతం చేస్తుందో లేదో మీరు మాట్లాడగలరా?
Tendü Yogurtçu: IBM తో, మేము ఇప్పటికే IBM తో భాగస్వాములుగా ఉన్నాము మరియు ఉత్పత్తిని అందించే వారి డేటా క్లౌడ్ సేవల కోసం మేము చర్చలు జరిపాము . మా ఓపెన్-సోర్స్ రచనలు వాటిని ప్రభావితం చేయాలనుకునే ప్రతి ఒక్కరికీ తెరవబడతాయి. కొన్ని మెయిన్ఫ్రేమ్ కనెక్టివిటీ స్పార్క్ ప్యాకేజీలలో కూడా అందుబాటులో ఉంది, కాబట్టి ఐబిఎం మాత్రమే కాదు. ఎవరైనా వాటిని ప్రభావితం చేయవచ్చు. బ్లూమిక్స్లో మేము ఇంకా ప్రత్యేకంగా ఏమీ చేయలేదు. మరియు రెండవ ప్రశ్నను పునరావృతం చేయడానికి మీరు ఇష్టపడుతున్నారా?
ఎరిక్ కవనాగ్: అవును, రెండవ ప్రశ్న మీ కార్యాచరణ యొక్క ప్రధాన ప్రాంతం గురించి, ఇది నిజంగా ETL యొక్క అడ్డంకులను నిర్వహిస్తోంది మరియు స్పష్టంగా మీరు అబ్బాయిలు ఇప్పటికీ మెయిన్‌ఫ్రేమ్‌లుగా చేయబోతున్నారు, అలాగే, సిద్ధాంతపరంగా దూరంగా ఉండండి, అయినప్పటికీ డెజ్ పాయింట్ ఇప్పటికీ రకమైన రాకింగ్ మరియు అక్కడ బయటకు వస్తోంది. ఆపరేటింగ్ సిస్టమ్‌లను దాటవేయడం ద్వారా మరియు సెకనుకు గిగాబైట్ వరకు డేటాను తరలించడంలో సమకాలీకరణ చాలా మంచిదని హాజరైనవారు గుర్తించారు. మీరు దానిపై వ్యాఖ్యానించగలరా?
Tendü Yogurtçu: అవును, నిజంగా మొత్తం వనరుల సామర్థ్యం మా బలం మరియు స్కేలబిలిటీ మరియు పనితీరు మా బలం. మేము రాజీపడటం లేదు, సరళీకృతం చేయడానికి చాలా అర్ధాలు ఉన్నాయి, వాటి నుండి మేము రాజీపడము. ప్రజలు 2014 లో హడూప్ గురించి మాట్లాడటం ప్రారంభించినప్పుడు, ఉదాహరణకు, చాలా సంస్థలు మొదట్లో పనితీరును చూడటం లేదు. వారు మాట్లాడుతూ, "ఓహ్, ఏదైనా జరిగితే నేను మరో రెండు నోడ్లను జోడించగలను మరియు నేను బాగుంటాను, పనితీరు నా అవసరం కాదు."
మేము ఇప్పటికే స్థానికంగా నడుస్తున్నందున ఉత్తమ పనితీరు గురించి మాట్లాడేటప్పుడు, హైవ్ బహుళ మ్యాప్‌రెడ్స్ ఉద్యోగాలు మరియు వాటిని ప్రారంభించడంలో ఓవర్‌హెడ్‌లతో కలిగి ఉన్న కొన్ని ప్రారంభ ఎక్కిళ్ళు కూడా మాకు లేవు. "ఓహ్, అది నా ఆందోళన కాదు, ప్రస్తుతానికి దాని గురించి చింతించకండి" అని ప్రజలు మాకు చెబుతున్నారు.
మేము 2015 కి వచ్చినప్పుడు, ల్యాండ్‌స్కేప్ మారిపోయింది ఎందుకంటే మా కస్టమర్లలో కొందరు తమ ప్రొడక్షన్ క్లస్టర్లలో ఇప్పటికే ఉన్న నిల్వను మించిపోయారు. సమకాలీకరణ ఏమి అందిస్తుందో చూడటం వారికి చాలా క్లిష్టమైనది. మీరు ఒక డేటాబేస్ లేదా మెయిన్ఫ్రేమ్ నుండి కొంత డేటాను తీసుకొని, క్లస్టర్లలో ఒక పారేకెట్ ఫార్మాట్‌లోకి వ్రాస్తుంటే, మీరు ల్యాండ్ మరియు స్టేజ్ చేసి, మరొక పరివర్తన చేసినా లేదా ఇన్‌ఫ్లైట్ ట్రాన్స్ఫర్మేషన్ మరియు ల్యాండ్ టార్గెట్ ఫైల్ ఫార్మాట్ చేసినా, ఒక తేడా వచ్చింది ఎందుకంటే మీరు సేవ్ చేస్తున్నారు నిల్వ, మీరు నెట్‌వర్క్ బ్యాండ్‌విడ్త్ నుండి సేవ్ చేస్తున్నారు, మీరు అదనపు ఉద్యోగాలు అమలు చేయనందున మీరు క్లస్టర్‌లోని పనిభారం నుండి ఆదా చేస్తున్నారు. చాలా స్పృహతో ఉన్న పరంగా మనం ఆడే బలాలు, మన చర్మం కింద వనరుల సామర్థ్యాన్ని అనుభవిస్తాము, అనిపిస్తుంది.
మేము దానిని ఎలా వివరించాము. ఇది మాకు చాలా కీలకం. మేము దానిని పెద్దగా పట్టించుకోము. అపాచీ స్పార్క్ లేదా తదుపరి కంప్యూటర్ ఫ్రేమ్‌వర్క్‌లోని పరపతితో మేము బలంగా కొనసాగుతాము. అది మన దృష్టిగా కొనసాగుతుంది. మరియు డేటా కదలిక ముక్క మరియు డేటా యాక్సెస్ ముక్క పరంగా, ఖచ్చితంగా ఇది మా బలాల్లో ఒకటి మరియు మేము హడూప్ లేదా స్పార్క్ సందర్భంలో మెయిన్‌ఫ్రేమ్‌లపై DB2 లేదా VSAM డేటాను యాక్సెస్ చేస్తున్నాము.
ఎరిక్ కవనాగ్: సరే, వెబ్‌కాస్ట్‌ను ముగించడానికి ఇది ఒక గొప్ప మార్గం, చేసారో. మీ సమయం మరియు శ్రద్ధకు చాలా ధన్యవాదాలు. బ్రీఫింగ్ గదిలోకి వచ్చి రౌండ్‌లోకి అడుగుపెట్టినందుకు టెండే మరియు సిన్‌సోర్ట్ మీకు ధన్యవాదాలు. ప్రేక్షకుల నుండి చాలా గొప్ప ప్రశ్నలు. ఇది అక్కడ ఎప్పుడూ కదిలే వాతావరణం, చేసారో. మేము ఇతరులందరితో చేసినట్లుగా ఈ హాట్ టెక్ను ఆర్కైవ్ చేస్తాము. మీరు మమ్మల్ని లోపల విశ్లేషణ.కామ్ మరియు techopedia.com లో కనుగొనవచ్చు. సాధారణంగా ఇది ఒక రోజులో పెరుగుతుంది. మరియు దానితో, మేము మీకు వీడ్కోలు చెప్పబోతున్నాం, చేసారో. చాలా ధన్యవాదాలు. మేము త్వరలో మీతో మాట్లాడతాము. జాగ్రత్త. వీడ్కోలు.
