సూచన యొక్క శక్తి: డేటా కేటలాగ్ విశ్లేషకులను ఎలా శక్తివంతం చేస్తుంది

టెకోపీడియా సిబ్బంది, జూన్ 22, 2016

టేకావే: హోస్ట్ రెబెకా జోజ్వియాక్ డేటా కేటలాగ్ల యొక్క ప్రయోజనాలను డెజ్ బ్లాంచ్ఫీల్డ్, రాబిన్ బ్లూర్ మరియు డేవిడ్ క్రాఫోర్డ్‌తో చర్చిస్తారు.

వీడియోను చూడటానికి మీరు ఈ ఈవెంట్ కోసం నమోదు చేసుకోవాలి. వీడియో చూడటానికి నమోదు చేయండి.

రెబెక్కా జోజ్వియాక్: లేడీస్ అండ్ జెంటిల్మెన్, 2016 యొక్క హాట్ టెక్నాలజీస్ కు హలో మరియు స్వాగతం. ఈ రోజు మనకు లభించింది, “సూచనల శక్తి: డేటా కాటలాగ్ విశ్లేషకులను ఎలా శక్తివంతం చేస్తుంది.” నేను మీ హోస్ట్ రెబెకా జోజ్వియాక్, మా సాధారణ హోస్ట్ ఎరిక్ కోసం నింపడం ఈ రోజు కవనాగ్, అతను ప్రపంచాన్ని పర్యటిస్తున్నప్పుడు, మాతో చేరినందుకు ధన్యవాదాలు. ఈ సంవత్సరం వేడిగా ఉంది, నేను ఉన్న టెక్సాస్‌లో ఇది వేడిగా లేదు, కానీ అన్ని చోట్ల వేడిగా ఉంది. అన్ని రకాల కొత్త టెక్నాలజీల పేలుడు ఉంది. మాకు IoT, స్ట్రీమింగ్ డేటా, క్లౌడ్ స్వీకరణ, హడూప్ పరిపక్వం చెందుతూనే ఉన్నాయి. మాకు ఆటోమేషన్, మెషీన్ లెర్నింగ్ ఉన్నాయి మరియు ఈ విషయాలన్నీ డేటా ద్వారా అండర్లైన్ చేయబడ్డాయి. మరియు ఎంటర్ప్రైజెస్ రోజుకు మరింత డేటాగా మారుతున్నాయి. వాస్తవానికి, జ్ఞానం, మరియు ఆవిష్కరణకు దారితీసే పాయింట్ మరియు మీకు తెలుసా, మంచి నిర్ణయాలు తీసుకోండి. కానీ డేటా నుండి నిజంగా ఎక్కువ విలువను పొందడానికి, దాన్ని పొందడం సులభం. మీరు దాన్ని లాక్ చేసి ఉంచినా, లేదా ఖననం చేసినా, లేదా ఎంటర్ప్రైజ్‌లోని కొంతమంది వ్యక్తుల మెదడులో ఉంచినా, అది మొత్తం సంస్థకు అంత మంచిది కాదు.

నేను డేటా కేటలాగింగ్ మరియు లైబ్రరీల కోర్సు గురించి ఆలోచిస్తున్నాను, చాలా కాలం క్రితం మీరు ఎక్కడైనా వెతకాలి, మీరు ఏదైనా కనుగొనవలసి వస్తే, మీరు ఒక అంశంపై పరిశోధన చేయాల్సిన అవసరం ఉంటే, లేదా కొంత సమాచారాన్ని వెతకాలి, మీరు లైబ్రరీకి వెళ్లారు., మరియు మీరు కార్డ్ కేటలాగ్ లేదా అక్కడ పనిచేసిన క్రాబీ లేడీకి వెళ్లారు. మీరు చుట్టూ చూడాలనుకుంటే, మరియు మీరు చక్కగా ఏదైనా కనుగొనగలరని ఖచ్చితంగా అనుకుంటే, మీకు తెలియని కొన్ని ఆసక్తికరమైన విషయాలను మీరు కనుగొనవచ్చు, కానీ మీరు నిజంగా ఏదైనా కనుగొనవలసి ఉంటే, మరియు మీరు వెతుకుతున్నది మీకు తెలుసు, మీకు కార్డ్ కేటలాగ్ అవసరం, మరియు ఎంటర్ప్రైజ్ సమానమైన డేటా కేటలాగ్, ఇది మా వినియోగదారులకు సుసంపన్నం చేయడానికి, కనుగొనటానికి, పంచుకునేందుకు, వినియోగించడానికి మరియు నిజంగా సహాయపడటానికి అన్ని డేటాపై కాంతిని ప్రకాశవంతం చేయడంలో సహాయపడుతుంది. ప్రజలు వేగంగా మరియు సులభంగా డేటాను పొందుతారు.

కాబట్టి ఈ రోజు మనకు డెజ్ బ్లాంచ్ఫీల్డ్, మా స్వంత డేటా సైంటిస్ట్, మరియు మా స్వంత చీఫ్ అనలిస్ట్ అయిన డాక్టర్ రాబిన్ బ్లూర్ ఉన్నారు, మాకు డేవిడ్ క్రాఫోర్డ్ ను అలేషన్ నుండి పొందారు, అతను తన కంపెనీ డేటా కేటలాగింగ్ కథ గురించి మాట్లాడబోతున్నాడు, కాని మొదట మేము డెజ్‌తో ముందుకు వెళ్తాము. డెజ్, నేను బంతిని మీ వద్దకు పంపుతున్నాను మరియు నేల మీదే.

డెజ్ బ్లాంచ్ఫీల్డ్: ధన్యవాదాలు, ఈ రోజు నన్ను కలిగి ఉన్నందుకు ధన్యవాదాలు. ఇది నాకు చాలా ఆసక్తి ఉన్న విషయం, ఎందుకంటే నా రోజువారీ పనిలో నేను చూసే ప్రతి సంస్థ, ప్రీ-షో పరిహాసంలో మేము చాలా క్లుప్తంగా మాట్లాడిన అదే సమస్యను నేను కనుగొన్నాను, మరియు అది కొన్ని సంవత్సరాలకు పైగా వ్యాపారంలో ఉన్న చాలా సంస్థలు సంస్థ, వివిధ ఆకృతుల చుట్టూ ఖననం చేయబడిన అనేక డేటాను కలిగి ఉన్నాయి మరియు వాస్తవానికి నాకు లోటస్ నోట్స్‌కు తిరిగి వెళ్ళే డేటా సెట్‌లను కలిగి ఉన్న క్లయింట్లు ఉన్నారు, కొన్ని డేటాబేస్లు ఇప్పటికీ నడుస్తున్నాయి కేసులు వారి నకిలీ ఇంటర్‌నెట్‌లు, మరియు అవి, వాస్తవానికి వారి డేటా ఎక్కడ ఉందో, మరియు దానికి ఎలా ప్రాప్యత పొందాలి, ఎవరికి ప్రాప్యతను అందించాలి, ఎప్పుడు వాటికి ప్రాప్యతను అందించాలి మరియు ఎలా పొందాలో ఈ సవాలులో పడ్డారు. కేటలాగ్ మరియు ప్రతి ఒక్కరూ చేయగలిగే ప్రదేశానికి ఎలా చేరుకోవాలి: ఎ) అక్కడ ఏమి ఉంది మరియు దానిలో ఏముందో తెలుసుకోండి మరియు బి), దానికి ప్రాప్యత ఎలా పొందాలో మరియు ఎలా ఉపయోగించాలో తెలుసుకోండి. మరియు కోర్సు యొక్క అతిపెద్ద సవాళ్ళలో ఒకటి దానిని కనుగొనడం, మరొక పెద్ద సవాలు ఏమిటంటే అక్కడ ఏమి ఉందో తెలుసుకోవడం మరియు దానిని ఎలా యాక్సెస్ చేయాలి.

నేను డజన్ల కొద్దీ డేటాబేస్లను పొందానని నాకు బాగా తెలుసు, కాని అక్కడ ఏమి ఉందో నాకు తెలియదు లేదా అక్కడ ఉన్నదాన్ని ఎలా కనుగొనాలో నాకు తెలియదు, మరియు ప్రీ-షో డేటాలో మనం ఇప్పుడు కనుగొన్నప్పుడు, మీరు మొగ్గు చూపుతారు ఆఫీసు చుట్టూ తిరగడానికి మరియు ప్రశ్నలు అడగడానికి, మరియు క్యూబికల్ గోడల మీదుగా అరుస్తూ ప్రయత్నించండి మరియు గుర్తించండి, తరచుగా నా అనుభవం ఏమిటంటే, మీరు ముందు డెస్క్, రిసెప్షన్, మరియు ఎవరికైనా ఎవరికైనా తెలుసా అని అడగడం కూడా మీరు చూడవచ్చు. మీరు మాట్లాడటానికి వెళ్తున్నారు. చాలా తరచుగా, ఇది ఎల్లప్పుడూ ఐటి జానపద కాదు ఎందుకంటే వారు డేటా సెట్ గురించి తెలియదు ఎందుకంటే ఎవరో దీనిని సృష్టించారు, మరియు ఇది చాలా సరళంగా ఉంటుంది - చాలా తరచుగా మేము ఐటి వాతావరణంలో నిలబడి ఉండే ఒక విధమైన ప్రాజెక్ట్ను కనుగొంటాము మరియు ప్రాజెక్ట్ మేనేజర్ అన్ని విషయాల స్ప్రెడ్‌షీట్‌ను ఉపయోగించారు, మరియు ఇది ఆస్తులు మరియు సందర్భం మరియు పేర్ల చుట్టూ కొంత విలువైన సమాచారాన్ని సంపాదించింది మరియు మీకు ఆ ప్రాజెక్ట్ తెలియకపోతే మరియు ఆ వ్యక్తి మీకు తెలియకపోతే, మీరు ఆ సమాచారాన్ని కనుగొనలేరు. ఇది అందుబాటులో లేదు మరియు మీరు ఆ అసలు ఫైల్‌ను పట్టుకోవాలి.

డేటాకు సంబంధించి పరివర్తన చెందిన ఒక పదబంధం ఉంది మరియు నేను తప్పనిసరిగా దానితో ఏకీభవించను, కాని ఇది ఒక అందమైన చిన్న త్రోవే అని నేను అనుకుంటున్నాను మరియు కొంతమంది ప్రజలు డేటా కొత్త నూనె అని అనుకుంటున్నారు, మరియు నేను ఖచ్చితంగా మేము ఈ రోజు తరువాత కొన్ని అంశాలలో కవర్ చేయబోతున్నాం. నేను గమనించినది, ఖచ్చితంగా ఆ పరివర్తనలో భాగం కావడం, వారి డేటాను విలువైనదిగా నేర్చుకున్న వ్యాపార సంస్థలు వారి పోటీదారులపై గణనీయమైన ప్రయోజనాన్ని పొందాయి.

ఐదు లేదా ఆరు సంవత్సరాల క్రితం ఐబిఎమ్ చేత ఒక ఆసక్తికరమైన కాగితం ఉంది, మరియు వారు ఇక్కడ ఆస్ట్రేలియాలో సుమారు 4, 000 కంపెనీలను సర్వే చేసారు, మరియు వారు మొత్తం సమాచారం, అన్ని పనితీరు డేటా, అన్ని ఫైనాన్స్ డేటాను తీసుకొని మరిగే కుండలో ఉంచారు. దీనిని ఆస్ట్రేలియన్ స్కూల్ ఆఫ్ ఎకనామిక్స్కు పంపారు, మరియు వారు వాస్తవానికి ఇక్కడ ఒక సాధారణ ధోరణిని ప్రారంభించారు, మరియు సాంకేతిక పరిజ్ఞానాన్ని సాధించిన కంపెనీలు తమ తోటివారిపై మరియు పోటీదారులపై పోటీతత్వ ప్రయోజనాన్ని పొందాయి, వారి పోటీదారులు ఎప్పుడూ కలుసుకోరు, మరియు నేను అనుకుంటున్నాను ప్రజలు డిజిటల్ పరివర్తన అని పిలవడాన్ని మేము చూసిన డేటాతో ఇప్పుడు చాలా పరిస్థితి ఉంది, ఇక్కడ వారు పొందిన డేటాను ఎలా కనుగొనాలో, ఆ డేటాను అందుబాటులో ఉంచడానికి మరియు చాలా తేలికగా వినియోగించే వాటిలో అందుబాటులో ఉంచే సంస్థలు స్పష్టంగా కనుగొన్న సంస్థలు సంస్థకు ఫ్యాషన్, సంస్థకు ఎందుకు అవసరమో ఎల్లప్పుడూ తెలియకుండానే, మరియు పోటీదారులపై గణనీయమైన ప్రయోజనాన్ని పొందండి.

ఈ స్లయిడ్‌లో నాకు కొన్ని ఉదాహరణలు ఉన్నాయి, మీరు చూడగలరు. నా దృష్టిలో, దాదాపు ప్రతి పరిశ్రమ రంగంలో పెద్ద ఎత్తున అంతరాయం, నా దృష్టిలో, డేటా ద్వారా నడపబడుతోంది, మరియు ప్రస్తుత పోకడలు ఏమైనా ఉంటే, నా అభిప్రాయం ఏమిటంటే మనం నిజంగా సంపాదించాము ప్రారంభమైంది ఎందుకంటే దీర్ఘకాల బ్రాండ్లు చివరకు దీని అర్థం ఏమిటో మేల్కొని ఆటలోకి ప్రవేశించినప్పుడు, వారు టోకు వద్ద ఆటలోకి ప్రవేశించబోతున్నారు. డేటా పర్వతాలను కలిగి ఉన్న ప్రధాన రిటైలర్లు డేటాపై కొంత చారిత్రక విశ్లేషణను వర్తింపజేయడం ప్రారంభించినప్పుడు, అది ఉనికిలో ఉందని వారికి తెలిస్తే, అప్పుడు కొంతమంది ఆన్‌లైన్ ప్లేయర్‌లు కొంచెం మేల్కొలుపు కాల్‌ను పొందబోతున్నారు.

కానీ ఈ బ్రాండ్లలో చాలా వరకు, ప్రపంచంలోని అతిపెద్ద టాక్సీ సంస్థ అయిన ఉబెర్ మాకు లభించిందని నా ఉద్దేశ్యం. వారు ఏ టాక్సీలను కలిగి లేరు, కాబట్టి వాటిని మాయాజాలం చేస్తుంది, వారి డేటా ఏమిటి? Airbnb, అతిపెద్ద వసతి ప్రదాత, మాకు ప్రపంచంలోనే అతిపెద్ద ఫోన్ సంస్థ అయిన WeChat వచ్చింది, కాని వారికి అసలు మౌలిక సదుపాయాలు లేవు మరియు హ్యాండ్‌సెట్‌లు లేవు, ఫోన్ లైన్లు లేవు. అలీబాబా, గ్రహం మీద అతిపెద్ద రిటైలర్, కానీ వారు ఏ జాబితాను కలిగి లేరు. ఈ మాటలో అతిపెద్ద మీడియా సంస్థ ఫేస్‌బుక్. చివరి లెక్కలో వారు ఇప్పుడు 1.4 బిలియన్ యాక్టివ్ డేటా యూజర్లను కలిగి ఉన్నారని నేను అనుకుంటున్నాను, ఇది మనస్సును కదిలించే సంఖ్య. ఇది ఎక్కడా సమీపంలో లేదు - గ్రహం యొక్క పావు వంతు వాస్తవానికి ప్రతిరోజూ అక్కడ ఉందని ఎవరైనా పేర్కొన్నారని నేను అనుకుంటున్నాను, ఇంకా ఇక్కడ కంటెంట్ ప్రొవైడర్ వాస్తవానికి కంటెంట్‌ను సృష్టించలేదు, వారు అందించే మొత్తం డేటా వారు సృష్టించలేదు, ఇది సృష్టించబడింది వారి చందాదారుల ద్వారా మరియు ఈ మోడల్ మనందరికీ తెలుసు.

సొసైటీఒన్, ఇది మీరు విన్న లేదా వినకపోవచ్చు, ఇది స్థానిక బ్రాండ్, కొన్ని దేశాలలో ఇది వాస్తవానికి పీర్-టు-పీర్ రుణాలు ఇచ్చే బ్యాంకు అని నేను అనుకుంటున్నాను, కాబట్టి మరో మాటలో చెప్పాలంటే, దీనికి డబ్బు లేదు. ఇది చేస్తుంది అది లావాదేవీలను నిర్వహిస్తుంది మరియు డేటా దాని క్రింద ఉంటుంది. నెట్‌ఫ్లిక్స్, మనమందరం చాలా బాగా తెలుసు. ఇక్కడ ఆసక్తికరమైన వన్-లైనర్ ఉంది. నెట్‌ఫ్లిక్స్ ఆస్ట్రేలియాలో చట్టబద్ధంగా ఉపయోగించగలిగినప్పుడు, అధికారికంగా ప్రకటించినప్పుడు, మీరు దానిని పొందడానికి VPN ను ఉపయోగించాల్సిన అవసరం లేదు, ప్రపంచవ్యాప్తంగా చాలా మంది ప్రజలు మొగ్గు చూపుతారు - మీరు మీ స్థానిక ప్రాంతంలో దీన్ని పొందలేకపోతే - ఆస్ట్రేలియాలో నెట్‌ఫిక్స్ ప్రారంభించినప్పుడు, ఇది మా ఇంటర్నెట్ లింక్‌లపై అంతర్జాతీయ బ్యాండ్‌విడ్త్‌ను 40 శాతం పెంచింది, కాబట్టి ఇది ఆస్ట్రేలియాలో ఇంటర్నెట్ వినియోగాన్ని రాత్రిపూట రెట్టింపు చేసింది, కేవలం ఒక అప్లికేషన్ ద్వారా, డేటాతో ఆడుకోవడం తప్ప మరేమీ చేయని క్లౌడ్-హోస్ట్ అప్లికేషన్. ఇది మనసును కదిలించే గణాంకం.

వాస్తవానికి, మనందరికీ ఆపిల్ మరియు గూగుల్ గురించి బాగా తెలుసు, కానీ ఇవి గ్రహం మీద అతిపెద్ద సాఫ్ట్‌వేర్ వ్యాపారాలు, అయినప్పటికీ అవి వాస్తవానికి అనువర్తనాలను వ్రాయవు. ఈ అన్ని సంస్థలతో స్థిరమైన విషయం ఏమిటి? సరే, ఇది డేటా, మరియు వారు అక్కడికి రాలేదు ఎందుకంటే వారి డేటా ఎక్కడ ఉందో వారికి తెలియదు మరియు దానిని ఎలా జాబితా చేయాలో వారికి తెలియదు.

మేము ఇప్పుడు కనుగొన్నది ఏమిటంటే డేటాగా సూచించబడే ఈ సరికొత్త ఆస్తి తరగతి ఉంది మరియు కంపెనీలు దానికి మేల్కొంటున్నాయి. కానీ వారు ఎల్లప్పుడూ సాధనాలను కలిగి ఉండరు మరియు ఆ డేటాను మొత్తం మ్యాప్ చేయడానికి, ఆ డేటాను జాబితా చేయడానికి మరియు అందుబాటులో ఉంచడానికి, కానీ దాదాపు భౌతిక ఆస్తులు లేని కంపెనీలు అధిక మార్కెట్ విలువను పొందాయని మేము కనుగొన్నాము ఈ క్రొత్త డేటా ఆస్తి తరగతి ద్వారా రికార్డ్ సమయం. నేను చెప్పినట్లుగా, కొంతమంది పాత ఆటగాళ్ళు ఇప్పుడు దీనికి మేల్కొంటున్నారు మరియు ఖచ్చితంగా దాన్ని బయటకు తీసుకువస్తున్నారు.

నేను కొంచెం ప్రయాణంలో జానపదాలను తీసుకోవటానికి పెద్ద అభిమానిని, కాబట్టి పద్దెనిమిది వందలలో, పద్దెనిమిది వందల చివరలో, మరియు మీరు యుఎస్ మార్కెట్లో దీని గురించి బాగా తెలుసు, జనాభా గణనను అమలు చేయడానికి ఇది తేలింది ప్రతి సంవత్సరం లేదా అంతకుముందు, వారు ప్రతి పది సంవత్సరాలకు ఆ సమయంలో వాటిని నడిపించారని నేను అనుకుంటున్నాను, కానీ మీరు ప్రతి సంవత్సరం జనాభా గణనను నిర్వహించబోతున్నట్లయితే, డేటా విశ్లేషణ చేయడానికి మీరు ఎనిమిది లేదా తొమ్మిది సంవత్సరాలు పట్టవచ్చు. ఆ డేటా సెట్ అప్పుడు కాగితాల్లోని ప్రదేశాలలో పెట్టెల్లో మిగిలిపోయిందని మరియు దాదాపు ఎవరూ దానిని కనుగొనలేకపోయారని తేలింది. వారు ఈ నివేదికలను పంపిస్తూనే ఉన్నారు, కాని వాస్తవ డేటాను పొందడం చాలా కష్టమైంది, 1940 లలో, రెండవ ప్రపంచ యుద్ధంతో, మరొక ప్రపంచ ముఖ్యమైన క్షణంతో మనకు ఇలాంటి పరిస్థితి ఉంది, మరియు ఈ విషయం బ్లేచ్లీ పార్క్ బాంబే స్పెల్లింగ్ బాంబ్, మరియు ఇది భారీ సంఖ్య-క్రంచింగ్ విశ్లేషణాత్మక సాధనం, ఇది చిన్న డేటా సెట్ల ద్వారా వెళ్లి అందులో సంకేతాలను కనుగొంటుంది మరియు ఎనిగ్మా ద్వారా సంకేతాలను పగులగొట్టడంలో సహాయపడుతుంది.

ఈ విషయం మళ్ళీ, తప్పనిసరిగా రూపొందించిన పరికరం, కేటలాగ్‌కు ఎక్కువ కాదు, డేటాను ట్యాగ్ చేయడానికి మరియు మ్యాప్ చేయడానికి మరియు నమూనాలను తీసుకొని డేటా సెట్స్‌లో కనుగొనడం సాధ్యపడుతుంది, ఈ సందర్భంలో, కోడ్‌లను విచ్ఛిన్నం చేయండి, కీలు మరియు పదబంధాలను కనుగొని కనుగొనండి అవి డేటా సెట్లలో క్రమం తప్పకుండా ఉంటాయి, కాబట్టి మేము డేటాలోని వస్తువులను కనుగొని, డేటాను జాబితా చేసే దిశగా ఈ ప్రయాణంలో ఉన్నాము.

ఆపై ఈ విషయాలు వచ్చాయి, ఈ భారీ తక్కువ-ధర యంత్రాలు, కేవలం ఆఫ్-ది-షెల్ఫ్ యంత్రాలు. మరియు మేము చాలా ఆసక్తికరమైన పనులు చేసాము, మరియు మేము వారితో చేసిన వాటిలో ఒకటి మేము చాలా తక్కువ ఖర్చుతో కూడిన క్లస్టర్‌లను నిర్మించాము, అది గ్రహం సూచికను ప్రారంభించగలదు మరియు చాలా ప్రసిద్ధంగా ఈ పెద్ద బ్రాండ్లు వచ్చాయి మరియు పోయాయి, కానీ బహుశా గూగుల్ యొక్క అత్యంత సాధారణ ఇల్లు మనమందరం విన్న బ్రాండ్ - ఇది వాస్తవ క్రియగా మారింది మరియు మీ బ్రాండ్ క్రియగా మారినప్పుడు మీరు విజయవంతమయ్యారని మీకు తెలుసు. గూగుల్ మనకు నేర్పించినది, అది గ్రహించకుండా, బహుశా వ్యాపార ప్రపంచంలో, వారు మొత్తం గ్రహంను ఒక నిర్దిష్ట స్థాయికి సూచించగలిగారు మరియు ప్రపంచవ్యాప్తంగా ఉన్న డేటాను జాబితా చేసి, దానిని చాలా తేలికగా అందుబాటులో ఉంచారు, కొంచెం చిన్న వన్-లైన్ ఫార్ములాలో అనుకూలమైన రూపం, దానిపై దాదాపు ఏమీ లేని వెబ్ పేజీ, మరియు మీరు మీ ప్రశ్నలో టైప్ చేస్తే, అది వెళ్లి కనుగొంటుంది ఎందుకంటే వారు అప్పటికే గ్రహంను క్రాల్ చేసారు, ఇండెక్స్ చేసి సులభంగా అందుబాటులో ఉంచారు.

మరియు మేము గమనించినది ఏమిటంటే, “బాగా వేలాడదీయండి, మేము దీన్ని సంస్థలలో చేయడం లేదు - అది ఎందుకు? మొత్తం గ్రహంను మ్యాప్ చేసి, దానిని ఇండెక్స్ చేయగల, క్రాల్ చేసి, ఇండెక్స్ చేసి, దానిని అందుబాటులోకి తెచ్చే ఒక సంస్థ మనకు ఎందుకు వచ్చింది, మనం దాని కోసం శోధించవచ్చు, ఆపై వెళ్లి దానిని కనుగొనవలసిన విషయంపై క్లిక్ చేయండి, మనం ఎలా వస్తాము అంతర్గతంగా అలా చేయలేదా? ”కాబట్టి ఇప్పుడు ప్రపంచవ్యాప్తంగా ఈ చిన్న చిన్న యంత్రాలు ఇంట్రానెట్ల కోసం మరియు వస్తువులను కనుగొనేవి ఉన్నాయి, కానీ అవి ఇప్పటికీ సాంప్రదాయ వెబ్‌కు మించి వెళ్ళాలనే ఆలోచనతో పట్టు సాధిస్తున్నాయి. పేజీ లేదా ఫైల్ సర్వర్.

ఈ తరువాతి తరం డేటా కేటలాగ్‌ను ఇప్పుడు అనేక విధాలుగా ప్రవేశించే బదులు, పోస్ట్-ఇట్ నోట్స్ మరియు వాటర్ కూలర్ సంభాషణల ద్వారా డేటా యాక్సెస్‌ను కనుగొనడం నిజంగా డేటా డిస్కవరీ మరియు కేటలాగ్ చేయడానికి సరైన పద్ధతి కాదు, వాస్తవానికి, నేను ఎప్పుడూ అనుకోను నిజంగా ఉంది. గమనికలను పంపడం మరియు గమనికలను పోస్ట్ చేయడం మరియు దాని గురించి చాట్ చేసే వ్యక్తులకు మేము ఇకపై ఆ మొత్తం సవాలును నడిపించలేము. డేటా కేటలాగింగ్‌కు ఈ నెక్స్ట్-జెన్ విధానం వచ్చి వెళ్లిపోయిన ప్రాంతానికి మేము ఇప్పుడు బాగానే ఉన్నాము. దాని చుట్టూ మన చేతులు పొందాలి. ఇది సులభమైన సమస్య అయితే, మేము ఇంతకు ముందే దీన్ని అనేక విధాలుగా పరిష్కరించాము, కాని ఇది అంత తేలికైన సమస్య కాదని నేను భావిస్తున్నాను, డేటాను ఇండెక్స్ చేయడం మరియు కాల్ చేయడం దానిలో ఒక భాగం మాత్రమే, డేటాలో ఏమి ఉందో తెలుసుకోవడం మరియు మేము కనుగొన్న దాని చుట్టూ మెటాడేటాను నిర్మించడం, ఆపై దానిని సులభంగా, వినియోగించదగిన రూపంలో, ముఖ్యంగా స్వీయ-సేవ మరియు విశ్లేషణలకు అందుబాటులో ఉంచడం. ఇది ఇప్పటికీ పరిష్కరించబడుతున్న సమస్య, కానీ ఐదేళ్ళలో పజిల్ యొక్క చాలా భాగాలు బాగా మరియు నిజంగా పరిష్కరించబడ్డాయి మరియు అందుబాటులో ఉన్నాయి.

మనకు తెలిసినట్లుగా, డేటాను జాబితా చేసే మానవులు వైఫల్యానికి ఒక రెసిపీ ఎందుకంటే డేటా ప్రాసెసింగ్‌లో మనం వ్యవహరించే గొప్ప పీడకలలలో మానవ లోపం ఒకటి, మరియు నేను ఈ విషయం గురించి క్రమం తప్పకుండా మాట్లాడుతాను, ఇక్కడ నా దృష్టిలో, కాగితపు రూపాలను నింపే మానవులు బహుశా గొప్ప పీడకల మేము పెద్ద డేటా మరియు విశ్లేషణలలో వ్యవహరిస్తాము, వారు చేసే పనులను నిరంతరం పరిష్కరించుకోవడం, తేదీలు మరియు ఫీల్డ్‌లు వంటి సాధారణ విషయాల వరకు, ప్రజలు దానిని తప్పు ఆకృతిలో ఉంచడం.

నేను చెప్పినట్లుగా, మేము ప్రతిరోజూ ఇంటర్నెట్ సెర్చ్ ఇంజన్లను ప్రపంచాన్ని సూచికగా చూశాము, కాబట్టి ఇప్పుడు మేము దానిని ఆవిష్కరణ ప్రక్రియలో వ్యాపార డేటా సెట్లలో చేయవచ్చనే ఆలోచనతో చేస్తున్నాము మరియు సాధనాలు మరియు వ్యవస్థలు ఇప్పుడు మీరు ఈ రోజు నేర్చుకోబోతున్నందున సులభంగా అందుబాటులో ఉంటుంది. కాబట్టి ట్రిక్, నిజంగా నా దృష్టిలో, సరైన సాధనాలను ఎంచుకోవడం, ఉద్యోగానికి ఉత్తమమైన సాధనాలు. మరియు దాని పైన మరింత సముచితంగా, ఈ మార్గాన్ని ప్రారంభించడంలో మీకు సహాయపడటానికి దాని యొక్క సరైన భాగాన్ని కనుగొనడం. మరియు మేము ఈ రోజు దాని గురించి వినబోతున్నామని నేను నమ్ముతున్నాను, కాని మేము అలా చేసే ముందు, నేను నా కాలేజీ, రాబిన్ బ్లూర్‌కి వెళుతున్నాను మరియు ఈ అంశంపై ఆయన టేక్ వినబోతున్నాను. రాబిన్, నేను మీ దగ్గరకు వెళ్ళగలనా?

రాబిన్ బ్లూర్: అవును, ఖచ్చితంగా మీరు చేయగలరు. ఇది పనిచేస్తుందో లేదో చూద్దాం, ఓహ్ అవును. సరే, నేను నిజంగా డెజ్ కంటే వేరే దిశ నుండి వస్తున్నాను, కాని నేను అదే స్థలంలో ముగుస్తాను. ఇది డేటాకు కనెక్ట్ కావడం గురించి, కాబట్టి నేను డేటాకు కనెక్ట్ అయ్యే వాస్తవికత ద్వారా నడవాలని అనుకున్నాను.

డేటా ఇంతకుముందు కంటే ఎక్కువ విచ్ఛిన్నమైందనే వాస్తవం ఉంది. డేటా యొక్క పరిమాణం అసాధారణంగా పెరుగుతోంది, కానీ వాస్తవానికి, డేటా యొక్క వివిధ వనరులు కూడా నమ్మశక్యం కాని రేటుతో పెరుగుతున్నాయి, అందువల్ల డేటా అన్ని సమయాలలో విచ్ఛిన్నమవుతోంది. కానీ ముఖ్యంగా అనలిటిక్స్ అనువర్తనాల వల్ల - కాని అవి మాత్రమే అనువర్తనాలు కావు - ఈ డేటా మొత్తానికి కనెక్ట్ అవ్వడానికి మాకు మంచి కారణం ఉంది, కాబట్టి మేము కష్టమైన స్థలంలో చిక్కుకున్నాము, విచ్ఛిన్నమైన డేటా ప్రపంచంలో మేము చిక్కుకున్నాము, మరియు డేజ్ కొత్త చమురు అని పిలుస్తున్నందున డేటాలో అవకాశం ఉంది.

డేటా గురించి, ఇది ఫైల్ సిస్టమ్స్ లేదా డేటాబేస్లలో స్పిన్నింగ్ డిస్క్లో నివసించేది. ఇప్పుడు ఇది చాలా వైవిధ్యమైన వాతావరణంలో నివసిస్తుంది, ఇది ఫైల్ సిస్టమ్స్‌లో నివసిస్తుంది, అయితే ఇది ఈ రోజుల్లో హడూప్ సందర్భాల్లో లేదా స్పార్క్ ఉదంతాలలో కూడా నివసిస్తుంది. ఇది బహుళ జాతుల డేటాబేస్లో నివసిస్తుంది. చాలా కాలం క్రితం, మేము కొన్ని రిలేషనల్ డేటాబేస్ను ప్రామాణీకరించాము, గత ఐదేళ్ళలో విండో నుండి బయటకు వెళ్లిందని మీకు తెలుసు, ఎందుకంటే డాక్యుమెంట్ డేటాబేస్ల అవసరం ఉంది, మరియు గ్రాఫ్ డేటాబేస్ల అవసరం ఉంది, కాబట్టి మీకు తెలుసు, ఆట ఉంది మార్చబడింది. కనుక ఇది స్పిన్నింగ్ డిస్క్‌లో నివసించింది, కానీ ఇప్పుడు అది ఎస్‌ఎస్‌డిలో నివసిస్తుంది. SSD యొక్క తాజా మొత్తం - ఖచ్చితంగా తాజా SSD యూనిట్ శామ్సంగ్ నుండి వస్తోంది - ఇరవై గిగాబైట్లు, ఇది భారీగా ఉంది. ఇప్పుడు అది మెమరీలో నివసిస్తుంది, డేటా యొక్క ప్రధాన కాపీ డిస్క్‌లో కాకుండా మెమరీలో ఉండగలదు, మేము అలాంటి వ్యవస్థలను నిర్మించడానికి ఉపయోగించలేదు; మేము ఇప్పుడు చేస్తాము. మరియు అది మేఘంలో నివసిస్తుంది. అంటే ఇది ఈ విషయాలలో దేనినైనా, క్లౌడ్‌లో నివసించగలదని, ఇది మేఘంలో ఎక్కడ ఉందో మీకు తెలియదు, మీకు దాని చిరునామా మాత్రమే ఉంటుంది.

పాయింట్‌ను ర్యామ్ చేయడానికి, హడూప్ ఇప్పటివరకు, విస్తరించదగిన డేటా స్టోర్‌గా విఫలమైంది. ఇది ఎక్స్‌టెన్సిబుల్ స్కేల్-అవుట్ డేటా స్టోర్‌గా మారుతుందని మేము ఆశించాము మరియు ఇది ప్రతిదానికీ ఒక ఫైల్ సిస్టమ్‌గా మారుతుంది, మరియు అది అవుతుంది - రెయిన్‌బోలు ఆకాశంలో కనిపిస్తాయి, ప్రాథమికంగా, మరియు యునికార్న్స్ చుట్టూ నృత్యం చేస్తాయి మరియు అది ఏదీ జరగలేదు. అంటే మేము డేటా రవాణా సమస్యతో ముగుస్తుంది, మరియు డేటా రవాణా కోసం కొన్ని సమయాల్లో అవసరం లేదు, కానీ ఇది కూడా ఒక కష్టం. ఈ రోజుల్లో డేటా నిజంగా గురుత్వాకర్షణను కలిగి ఉంది, ఒకసారి మీరు డేటా యొక్క బహుళ-టెరాబైట్లలోకి ప్రవేశించి, దాన్ని తీయడం మరియు చుట్టూ విసిరేయడం, మీ నెట్‌వర్క్‌లో లాటెన్సీలు కనిపించడానికి కారణాలు లేదా వివిధ ప్రదేశాలలో కనిపించడం. మీరు చుట్టూ డేటాను రవాణా చేయాలనుకుంటే, సమయం ఒక అంశం. దాదాపు ఎల్లప్పుడూ ఉంది, ఈ రోజుల్లో, మీరు ఒక వస్తువును, ఎంత డేటాను ఒక స్థలం నుండి మరొక ప్రదేశానికి పొందటానికి ఎంత సమయం తీసుకున్నారు అనే దానిపై కొన్ని పరిమితులు ఉన్నాయి. బ్యాచ్ విండోస్ అని మేము అనుకునేది ఉండేది, యంత్రం పనిలేకుండా ఉన్నప్పుడు, మరియు మీ వద్ద ఎంత డేటా ఉన్నా, మీరు దాన్ని చుట్టూ విసిరేయవచ్చు మరియు ఇవన్నీ పని చేస్తాయి. బాగా పోయింది, మేము చాలా ఎక్కువ నిజ సమయ ప్రపంచంలో జీవిస్తున్నాము. అందువల్ల సమయం ఒక అంశం. మీరు డేటాను చుట్టూ తరలించాలనుకున్న వెంటనే, డేటా గురుత్వాకర్షణ కలిగి ఉంటే, మీరు బహుశా దాన్ని తరలించలేరు.

డేటా మేనేజ్మెంట్ అనేది మీరు నిజంగా ఈ డేటాను నిర్వహించవలసి వచ్చింది, మీకు ఇది ఉచితంగా లభించదు మరియు వాస్తవానికి అది చేయవలసిన పనిని చేయడానికి డేటాను పొందటానికి ప్రతిరూపం అవసరం కావచ్చు, ఎందుకంటే మీరు ఎక్కడ ఉంచారో అది ఉండకపోవచ్చు. డేటా యొక్క సాధారణ ప్రాసెసింగ్ చేయడానికి దీనికి తగిన వనరులు ఉండకపోవచ్చు. కాబట్టి డేటా ప్రతిరూపం అవుతుంది మరియు మీరు .హించిన దానికంటే ఎక్కువ డేటా ప్రతిరూపం పొందుతుంది. డేటా యొక్క సగటు భాగం కనీసం రెండున్నర సార్లు ప్రతిరూపం అవుతుందని చాలా కాలం క్రితం ఎవరో నాకు చెప్పారు. ESB లు లేదా కాఫ్కా డేటా ప్రవాహానికి ఒక ఎంపికను అందిస్తున్నాయి, కానీ ఈ రోజుల్లో ఇది నిర్మాణాన్ని కోరుతుంది. ఈ రోజుల్లో మీరు నిజంగా ఒక విధంగా లేదా మరొక విధంగా ఆలోచించాలి, వాస్తవానికి డేటాను చుట్టూ విసిరేయడం అంటే ఏమిటి. అందువల్ల, డేటాను ఉన్న చోట యాక్సెస్ చేయడం సాధారణంగా మంచిది, మీరు డేటా కోసం నిజంగా వెళ్ళినప్పుడు మీకు అవసరమైన పనితీరును పొందవచ్చు మరియు అది సందర్భం మీద ఆధారపడి ఉంటుంది. కనుక ఇది కష్టమైన పరిస్థితి. డేటా ప్రశ్నల పరంగా, మేము SQL పరంగా ఆలోచించగలిగాము, మేము ఇప్పుడు నిజంగా వచ్చాము, మీకు తెలుసా, వివిధ రకాలైన ప్రశ్నలు, SQL అవును, కానీ ప్రక్కనే, గ్రాఫ్ ప్రశ్నలు, స్పార్క్ ఒక ఉదాహరణ మాత్రమే గ్రాఫ్ చేయడం, ఎందుకంటే మనం ఇంతకుముందు చేసినదానికంటే ఎక్కువ టెక్స్ట్ సెర్చ్ కూడా చేయవలసి ఉంది, రీజెక్స్ రకం శోధనలు, ఇది నమూనాల కోసం నిజంగా క్లిష్టమైన శోధనలు మరియు నిజమైన నమూనా సరిపోలిక, ఈ విషయాలన్నీ వాస్తవానికి బబ్లింగ్ అవుతున్నాయి. మరియు అవన్నీ ఉపయోగకరంగా ఉంటాయి ఎందుకంటే మీరు వెతుకుతున్న వాటిని వారు మీకు పొందుతారు లేదా మీరు వెతుకుతున్న దాన్ని వారు పొందవచ్చు.

ప్రశ్నలు ఇప్పుడు రోజులు బహుళ డేటాను కలిగి ఉన్నాయి, కాబట్టి ఇది ఎల్లప్పుడూ చేయలేదు మరియు మీరు అలా చేస్తే తరచుగా పనితీరు భయంకరంగా ఉంటుంది. కాబట్టి, ఇది పరిస్థితులపై ఆధారపడి ఉంటుంది, కాని ప్రజలు బహుళ డేటా వనరుల నుండి డేటాను ప్రశ్నించగలరని ప్రజలు భావిస్తున్నారు, కాబట్టి ఒక విధమైన డేటా సమాఖ్య లేదా మరొకటి మరింత ప్రస్తుతమవుతోంది. పనితీరును బట్టి డేటా వర్చువలైజేషన్ అనేది వేరే మార్గం. డేటా ప్రశ్నలు వాస్తవానికి ఒక ప్రక్రియలో ఒక భాగం, మొత్తం ప్రక్రియ కాదు. మీరు నిజంగా విశ్లేషణ పనితీరును చూస్తున్నట్లయితే, వాస్తవ విశ్లేషణలు డేటా సేకరణ కంటే చాలా ఎక్కువ సమయం పడుతుంది, ఎందుకంటే ఇది పరిస్థితులపై ఆధారపడి ఉంటుంది, కానీ మీరు ఏదైనా చేయాలనుకుంటే డేటా ప్రశ్నలు సంపూర్ణ అవసరం బహుళ డేటా వనరులపై రకమైన విశ్లేషణలు, మరియు ఇది నిజంగా, మీరు నిజంగా విస్తరించి ఉన్న సామర్థ్యాలను కలిగి ఉండాలి.

కాబట్టి కేటలాగ్ల గురించి. కేటలాగ్‌లు ఒక కారణం కోసం ఉన్నాయి, కనీసం మేము చెబుతున్నాము, మీకు తెలుసా, ఇది మాకు డైరెక్టరీలు, మరియు మాకు డేటాబేస్‌లలో స్కీమాలు ఉన్నాయి, మరియు మాకు ప్రతి కేటలాగ్ ఉంది మరియు మీరు ఎక్కడికి వెళ్లినా మీకు ఒక స్థలం దొరుకుతుంది, అప్పుడు మీరు నిజంగానే ఉంటారు ఏదో ఒక రకమైన కేటలాగ్ ఉందని కనుగొనండి, మరియు ఏకీకృత గ్లోబల్ కేటలాగ్ అటువంటి మంచి ఆలోచన. కానీ చాలా తక్కువ కంపెనీలకు అలాంటిది ఉంది. నాకు గుర్తుంది, తిరిగి సంవత్సరంలో రెండు వేలు - సంవత్సరం రెండువేల భయాందోళనలు - కమ్యూనిస్టులు తమ వద్ద ఎన్ని ఎగ్జిక్యూటబుల్స్ ఉన్నారో కూడా పిన్ చేయలేరని నేను గుర్తుంచుకున్నాను, వారి వద్ద ఎన్ని వేర్వేరు డేటా స్టోర్లు ఉన్నాయో పర్వాలేదు, మరియు బహుశా ఇప్పుడు అలాంటిదే మీకు తెలుసా, చాలా కంపెనీలకు గ్లోబల్ కోణంలో చురుకుగా తెలియదు, వారికి ఏ డేటా వచ్చింది. వాస్తవానికి గ్లోబల్ కేటలాగ్‌ను కలిగి ఉండటం లేదా డేటా వనరుల పెరుగుదల మరియు అనువర్తనాల నిరంతర పెరుగుదల కారణంగా ఏమి జరుగుతుందో ప్రపంచ చిత్రాన్ని కలిగి ఉండటం స్పష్టంగా అవసరమవుతోంది మరియు ఇది విశ్లేషణలకు ముఖ్యంగా అవసరం, ఎందుకంటే మీరు కూడా ఒక విధంగా, మరియు ఇక్కడ వంశపారంపర్యత మరియు డేటాతో సమస్యలు వంటి ఇతర సమస్యలు ఉన్నాయి, మరియు ఇది భద్రత కోసం అవసరం, డేటా పాలన యొక్క అనేక అంశాలు, మీకు ఏ డేటా లభించిందో మీకు నిజంగా తెలియకపోతే, ఆలోచన మీరు పరిపాలించబోతున్నారని అది అసంబద్ధం. కాబట్టి, అందులో, అన్ని డేటా ఏదో ఒక విధంగా జాబితా చేయబడుతుంది అనేది ఒక వాస్తవం. ప్రశ్న కేటలాగ్ పొందికగా ఉందా, వాస్తవానికి మీరు దానితో ఏమి చేయగలరు. కాబట్టి నేను రెబెక్కాకు తిరిగి వెళ్తాను.

రెబెకా జోజ్వియాక్: సరే, ధన్యవాదాలు రాబిన్. తరువాత మేము డేవిడ్ క్రాఫోర్డ్ ను అలేషన్ నుండి పొందాము, డేవిడ్ నేను ముందుకు వెళ్లి బంతిని మీకు పంపించబోతున్నాను మరియు మీరు దానిని తీసివేయవచ్చు.

డేవిడ్ క్రాఫోర్డ్: చాలా ధన్యవాదాలు. ఈ ప్రదర్శనలో మీరు నన్ను కలిగి ఉన్నందుకు నేను నిజంగా అభినందిస్తున్నాను. నేను దీన్ని ప్రారంభించబోతున్నానని అనుకుంటున్నాను, కాబట్టి ఇక్కడ నా పాత్ర ఏమిటంటే, ఆ సిద్ధాంతంలో కొన్నింటిని తీసుకొని అది ఎలా అన్వయించబడుతుందో చూడటం, మరియు మేము నిజమైన కస్టమర్ల వద్ద డ్రైవ్ చేయగలిగే ఫలితాలు మరియు మీరు చూడవచ్చు స్లైడ్‌లో కొన్ని, విశ్లేషణాత్మక మెరుగుదలలలో మనం చూడగలిగే ఫలితాల గురించి మాట్లాడాలనుకుంటున్నాను. కాబట్టి చర్చను ప్రేరేపించడానికి, వారు అక్కడికి ఎలా వచ్చారనే దాని గురించి మేము మాట్లాడబోతున్నాము. అందువల్ల చాలా మంది స్మార్ట్ వ్యక్తులతో, ఈ కస్టమర్లతో చాలా దగ్గరగా పనిచేయడం నా అదృష్టం, మరియు వాస్తవానికి కొలవగలిగిన కొద్దిమందిని నేను ఎత్తి చూపించాలనుకుంటున్నాను మరియు డేటా కేటలాగ్ కలిగి ఉండటం వారి విశ్లేషకుడిని ఎలా ప్రభావితం చేసిందనే దాని గురించి మాట్లాడండి వర్క్ఫ్లో. క్లుప్తంగా ముందు భాగంలో ఉండటానికి, డేటా కేటలాగ్ పద్యాలు మునుపటి మధ్యవర్తిత్వ పరిష్కారాలతో మరియు మనం కలిసి ఉంచిన పరిష్కారాల గురించి సంబంధాలు నిజంగా ఆలోచించే మార్గాలలో ఒకటి, మార్పును చూసే విషయాలలో ఒకటి, విశ్లేషకుల నుండి ప్రారంభించడం మరియు వెనుకకు పని చేయండి. చెప్పాలంటే, విశ్లేషకుల ఉత్పాదకతను ప్రారంభించడం గురించి దీనిని చేద్దాం. కేవలం సమ్మతికి వ్యతిరేకంగా, లేదా కేవలం జాబితాను కలిగి ఉండటానికి విరుద్ధంగా, మేము విశ్లేషకులను మరింత ఉత్పాదకతను కలిగించే సాధనాన్ని తయారు చేస్తున్నాము.

కాబట్టి, నేను ఫైనాన్షియల్ సర్వీసెస్ కంపెనీ స్క్వేర్ వద్ద ఒక డేటా సైంటిస్ట్‌తో మాట్లాడినప్పుడు, నిక్ అనే వ్యక్తి ఉన్నాడు, అతను ఎలా ఉన్నాడో మాకు చెబుతున్నాడు, అతను ఒక నివేదికను ప్రారంభించడానికి సరైన డేటాను కనుగొనటానికి చాలా గంటలు పట్టింది, ఇప్పుడు అతను చేయగలడు మార్కెట్ వాటా వద్ద శోధనను ఉపయోగించి సెకన్లలో దీన్ని చేయండి, మేము వారి CTO తో మాట్లాడాము, వారు స్క్వేర్ ఉపయోగిస్తున్న తన విశ్లేషకులను లాగారు, నన్ను క్షమించండి, అలేషన్ ఉపయోగిస్తున్నారు, వారి ఏమిటో, వారు ఏ ప్రయోజనాలను చూశారో తెలుసుకోవడానికి మరియు వారు 50 మందిని నివేదించారు శాతం ఉత్పాదకత బూస్ట్, మరియు, ప్రపంచంలోని అగ్రశ్రేణి రిటైలర్లలో ఒకరైన ఈబే, వారు రోజూ SQL విశ్లేషణ చేస్తున్న వెయ్యి మందికి పైగా ఉన్నారు, మరియు నేను డెబ్‌తో చాలా దగ్గరగా పని చేస్తున్నాను, అక్కడ ఎవరు ప్రాజెక్ట్? వారి డేటా టూల్స్ బృందంలో మేనేజర్, మరియు ప్రశ్నలు అలేషన్‌ను స్వీకరించినప్పుడు, కేటలాగ్‌ను స్వీకరించినప్పుడు, డేటాబేస్‌కు వ్యతిరేకంగా కొత్త ప్రశ్నలను వ్రాసే వేగాన్ని వారు రెట్టింపుగా చూస్తున్నారని ఆమె కనుగొంది.

కాబట్టి ఇవి నిజమైన ఫలితాలు, ఇవి వాస్తవానికి వారి సంస్థలో కేటలాగ్‌ను వర్తింపజేసే వ్యక్తులు, మరియు సెటప్ చేయడానికి ఏమి అవసరమో నేను మిమ్మల్ని తీసుకెళ్లాలనుకుంటున్నాను. ఒక సంస్థలో ఒక కేటలాగ్ ఎలా స్థాపించబడుతుంది, మరియు చెప్పడానికి చాలా ముఖ్యమైన విషయం ఏమిటంటే, ఇది చాలా స్వయంచాలకంగా జరుగుతుంది, కాబట్టి డెజ్ వ్యవస్థల గురించి మాట్లాడాడు, వ్యవస్థల గురించి నేర్చుకున్నాడు మరియు ఆధునిక డేటా కేటలాగ్ అదే చేస్తుంది. కాబట్టి వారు తమ డేటా సెంటర్‌లో అలేషన్‌ను ఇన్‌స్టాల్ చేసి, ఆపై వారు తమ డేటా వాతావరణంలో మెటాడేటా యొక్క వివిధ వనరులకు కనెక్ట్ చేస్తారు. నేను డేటాబేస్ మరియు BI సాధనాలపై కొంచెం దృష్టి పెడతాను - ఈ రెండింటి నుండి మేము సాంకేతిక మెటాడేటాను సేకరించబోతున్నాము, ప్రాథమికంగా ఉన్న దాని గురించి. కుడి, కాబట్టి ఏ పట్టికలు? ఏ నివేదికలు? నివేదిక నిర్వచనాలు ఏమిటి? అందువల్ల వారు ఆ సాంకేతిక మెటాడేటాను సంగ్రహిస్తారు, మరియు ఆ వ్యవస్థల లోపల ఉన్న ప్రతి వస్తువు కోసం ఒక కేటలాగ్ పేజీ స్వయంచాలకంగా సృష్టించబడుతుంది, ఆపై, అవి కూడా ఆ సాంకేతిక మెటాడేటా పైన వెలికితీసి పొరలుగా ఉంటాయి, అవి వినియోగ డేటా పైన పొరలుగా ఉంటాయి. ఇది ప్రధానంగా డేటాబేస్ నుండి ప్రశ్న లాగ్లను చదవడం ద్వారా జరుగుతుంది మరియు ఇది నిజంగా ఆసక్తికరమైన సమాచారం. కాబట్టి, ఒక విశ్లేషకుడు ఒక ప్రశ్న వ్రాసినప్పుడల్లా, రిపోర్టింగ్ సాధనం, అది ఇంట్లో పెరిగినదా, లేదా షెల్ఫ్‌లో ఉన్నా, డాష్‌బోర్డ్‌ను నవీకరించడానికి ఒక రిపోర్టింగ్ సాధనం ప్రశ్నను నడుపుతుందా, ఒక అనువర్తనం డేటాను అమలు చేయడానికి ప్రశ్నను అమలు చేసినప్పుడు డేటా సెట్ - ఆ విషయాలన్నీ డేటాబేస్ ప్రశ్న లాగ్‌లలో సంగ్రహించబడతాయి. మీకు కేటలాగ్ ఉందా లేదా, అవి డేటాబేస్ తో ప్రశ్న లాగ్ లో బంధించబడతాయి. డేటా కేటలాగ్ ఏమి చేయగలదు మరియు ముఖ్యంగా అలేషన్ యొక్క కేటలాగ్ ఏమి చేయగలదో, ఆ లాగ్‌లను చదవడం, వాటిలోని ప్రశ్నలను అడగడం మరియు ఆ లాగ్‌ల ఆధారంగా నిజంగా ఆసక్తికరమైన వినియోగ గ్రాఫ్‌ను సృష్టించడం మరియు భవిష్యత్ వినియోగదారులకు తెలియజేయడానికి మేము దానిని అమలులోకి తీసుకువస్తాము డేటా యొక్క గత వినియోగదారులు దీన్ని ఎలా ఉపయోగించారు అనే దాని గురించి డేటా.

కాబట్టి, మేము ఆ జ్ఞానాన్ని అన్నింటినీ ఒక కేటలాగ్‌లోకి తీసుకువస్తాము మరియు దీనిని నిజం చేయడానికి, ఇవి ఇప్పటికే కస్టమర్ల వద్ద మోహరించబడిన అనుసంధానాలు, కాబట్టి, మేము ఒరాకిల్, టెరాడాటా, రెడ్‌షిఫ్ట్, వెర్టికా మరియు ఇతర సమూహాలను చూశాము రిలేషనల్ డేటాబేస్. హడూప్ ప్రపంచంలో, హడూప్‌లో SQL యొక్క శ్రేణి ఉంది, హడూప్ ఫైల్ సిస్టమ్ పైన ఉన్న రిలేషనల్, మెటా స్టోర్స్, ఇంపాలా, తేజ్, ప్రెస్టో మరియు హైవ్, మేము ఆల్టిస్కేల్ వంటి క్లౌడ్ హడూప్ ప్రైవేట్ ప్రొవైడర్లతో కూడా విజయం సాధించాము మరియు మేము టేబులో సర్వర్లు, మైక్రోస్ట్రాటజీ సర్వర్లు మరియు డాష్‌బోర్డులను ఇండెక్స్ చేయడానికి, అలాగే ప్లాట్లీ వంటి డేటా సైన్స్ చార్టింగ్ సాధనాలతో అనుసంధానం చేయగలిగారు.

కాబట్టి, మేము ఈ వ్యవస్థలన్నింటికీ కనెక్ట్ చేసాము, మేము ఈ వ్యవస్థలను కస్టమర్లకు కనెక్ట్ చేసాము, మేము సాంకేతిక మెటాడేటాలో లాగాము, మేము వినియోగ డేటాలో లాగాము, మరియు మేము డేటా కేటలాగ్‌ను స్వయంచాలకంగా ప్రాధమికం చేసాము, కాని ఆ విధంగా, మేము జ్ఞానాన్ని కేంద్రీకరించండి, కానీ విషయాలను డేటా కేటలాగ్‌లోకి కేంద్రీకరించడం, ఇబే, స్క్వేర్ మరియు మార్కెట్ వాటాతో మనం మాట్లాడిన అద్భుతమైన ఉత్పాదకత ప్రోత్సాహకాలను అందించదు. అలా చేయడానికి, విశ్లేషకులకు జ్ఞానాన్ని అందించడం గురించి మనం ఆలోచించే విధానాన్ని మార్చాలి. దీని కోసం వారు అడిగే ప్రశ్నలలో ఒకటి, “కేటలాగ్ వాస్తవానికి విశ్లేషకుడి వర్క్‌ఫ్లోను ఎలా ప్రభావితం చేస్తుంది?”

మేము రోజంతా దాని గురించి ఆలోచిస్తూనే ఉంటాము, మరియు ఈ ఆలోచనలో మార్పు గురించి మాట్లాడటానికి, పుష్ పద్యాలు పుల్ మోడల్ గురించి, కిండ్ల్‌లో చదివే ముందు మరియు తరువాత ప్రపంచం ఎలా ఉందో శీఘ్ర సారూప్యత చేయాలనుకున్నాను. కాబట్టి ఇది మీలో కొంతమందికి ఉన్న ఒక అనుభవం, మీరు భౌతిక పుస్తకాన్ని చదువుతున్నప్పుడు, మీరు ఒక పదాన్ని చూస్తారు, ఆ పదం యొక్క నిర్వచనం మీకు బాగా తెలుసు అని మీకు ఖచ్చితంగా తెలియదు, మీరు సందర్భం నుండి ess హించవచ్చు, మీరు అవకాశం లేదు మంచం నుండి లేచి, మీ పుస్తకాల అరకు నడవండి, మీ నిఘంటువును కనుగొని, దాన్ని దుమ్ము దులిపి, పదాల అక్షర జాబితాలో సరైన స్థలానికి తిప్పండి, అవును, మీకు ఆ నిర్వచనం సరిగ్గా ఉందని, మీకు తెలుసా దాని యొక్క సూక్ష్మ నైపుణ్యాలు. కనుక ఇది నిజంగా జరగదు. కాబట్టి మీరు కిండ్ల్ అనువర్తనాన్ని కొనుగోలు చేస్తారు మరియు మీరు అక్కడ పుస్తకాలను చదవడం ప్రారంభిస్తారు మరియు మీకు పూర్తిగా తెలియని పదాన్ని మీరు చూస్తారు మరియు మీరు ఈ పదాన్ని తాకుతారు. అకస్మాత్తుగా, అదే స్క్రీన్‌లో, పదం యొక్క నిఘంటువు నిర్వచనం, దాని యొక్క అన్ని సూక్ష్మ నైపుణ్యాలు, విభిన్న ఉదాహరణ ఉపయోగాలు, మరియు మీరు కొద్దిగా స్వైప్ చేయండి మరియు మీరు ఆ అంశంపై వికీపీడియా కథనాన్ని పొందుతారు, మీరు మళ్ళీ స్వైప్ చేస్తారు, మీరు దానిని ఇతర భాషలలోకి లేదా ఇతర భాషల నుండి అనువదించగల అనువాద సాధనాన్ని పొందుతారు, మరియు అకస్మాత్తుగా మీ భాషపై మీ జ్ఞానం చాలా ధనవంతుడు, మరియు మీరు ఎప్పుడు వెళ్ళాలి మరియు పోల్చితే ఇది ఆశ్చర్యపరిచే అనేక సార్లు జరుగుతుంది. ఆ వనరును మీ కోసం లాగండి.

అందువల్ల నేను వాదించబోయేది ఏమిటంటే, ఒక విశ్లేషకుడి యొక్క వర్క్ఫ్లో మరియు డేటా డాక్యుమెంటేషన్తో ఒక విశ్లేషకుడు వ్యవహరించే విధానం, వాస్తవానికి పాఠకుడు నిఘంటువుతో ఎలా సంకర్షణ చెందుతాడో, భౌతికమైనా, లేదా అయినప్పటికీ కిండ్ల్, మరియు మనం, ఈ ఉత్పాదకత బూస్ట్‌ను నిజంగా చూసిన మార్గం, కేటలాగ్‌ను చిందించడం కాదు, కానీ దానిని విశ్లేషకుడి వర్క్‌ఫ్లోకు కనెక్ట్ చేయడం మరియు అందువల్ల, వారు నన్ను ఇక్కడ డెమో చేయమని అడిగారు, మరియు నేను కోరుకుంటున్నాను ఈ ప్రదర్శన యొక్క దృష్టి కేంద్రీకరించడానికి. కానీ నేను డెమో కోసం సందర్భం ఏర్పాటు చేయాలనుకుంటున్నాను. వినియోగదారులకు అవసరమైనప్పుడు డేటా పరిజ్ఞానాన్ని నెట్టడం గురించి మేము ఆలోచించినప్పుడు, అలా చేయడానికి సరైన స్థలం, వారు తమ సమయాన్ని వెచ్చించే ప్రదేశం మరియు వారు విశ్లేషణ చేస్తున్న చోట, SQL ప్రశ్న సాధనం. మీరు SQL ప్రశ్నలను వ్రాసి అమలు చేసే ప్రదేశం. కాబట్టి మేము ఒకదాన్ని నిర్మించాము మరియు మేము దానిని నిర్మించాము మరియు ఇతర ప్రశ్న సాధనాల నుండి దాని గురించి నిజంగా భిన్నమైన విషయం డేటా కేటలాగ్‌తో దాని లోతైన అనుసంధానం.

కాబట్టి మా ప్రశ్న సాధనాన్ని అలేషన్ కంపోజ్ అంటారు. ఇది వెబ్ ఆధారిత ప్రశ్న సాధనం మరియు నేను మీకు సెకనులో చూపిస్తాను. మునుపటి స్లయిడ్‌లో మీరు చూసిన అన్ని డేటాబేస్ లోగోల్లో పనిచేసే వెబ్ ఆధారిత ప్రశ్న సాధనం. నేను ప్రత్యేకంగా డెమో చేయడానికి ప్రయత్నించబోతున్నది కేటలాగ్ సమాచారం వినియోగదారులకు వచ్చే మార్గం. మరియు ఇది ఈ రకమైన మూడు వేర్వేరు మార్గాల ద్వారా చేస్తుంది. ఇది జోక్యాల ద్వారా చేస్తుంది, మరియు అక్కడే డేటా గవర్నర్, లేదా డేటా స్టీవార్డ్, లేదా ఏదో ఒక విధమైన నిర్వాహకుడు లేదా మేనేజర్ ఇలా చెప్పవచ్చు, “నేను ఒక గమనికతో లేదా హెచ్చరికతో ఇంటర్‌జెక్ట్ చేయాలనుకుంటున్నాను వర్క్ఫ్లో మరియు ఇది సరైన సమయంలో వినియోగదారులకు పంపిణీ చేయబడిందని నిర్ధారించుకోండి. ”కాబట్టి ఇది ఒక జోక్యం మరియు మేము దానిని చూపుతాము.

స్మార్ట్ సలహాలు అంటే, మీరు వ్రాసేటప్పుడు ప్రశ్న యొక్క వస్తువులు మరియు భాగాలను సూచించడానికి సాధనం కేటలాగ్ యొక్క సమగ్ర జ్ఞానాన్ని ఉపయోగిస్తుంది. అక్కడ తెలుసుకోవలసిన అతి ముఖ్యమైన విషయం ఏమిటంటే, ప్రశ్న లాగ్‌ను నిజంగా ఉపయోగించుకోవడం, ఉపయోగం ఆధారంగా విషయాలను సూచించడం మరియు ఇంతకు ముందు వ్రాసిన ప్రశ్నల భాగాలను కూడా కనుగొనడం. మరియు మేము దానిని చూపుతాము.

ఆపై ప్రివ్యూలు. ప్రివ్యూలు అంటే, మీరు ఒక వస్తువు పేరు మీద టైప్ చేస్తున్నప్పుడు, కేటలాగ్‌కు తెలిసిన ప్రతిదాన్ని లేదా ఆ వస్తువు గురించి కేటలాగ్‌కు తెలిసిన కనీసం చాలా సందర్భోచితమైన విషయాలను మేము మీకు చూపిస్తాము. కాబట్టి డేటా యొక్క నమూనాలు, ఇంతకు ముందు ఎవరు ఉపయోగించారు, ఆ వస్తువు యొక్క తార్కిక పేరు మరియు వివరణ, అన్నీ మీరు అడగకుండానే వ్రాసేటప్పుడు మీ వద్దకు వస్తాయి.

కాబట్టి ఇంకేమీ మాట్లాడకుండా, నేను డెమోకి వస్తాను, అది కనిపించే వరకు నేను వేచి ఉండబోతున్నాను. నేను ఇక్కడ మీకు చూపించబోయేది ప్రశ్న సాధనం. ఇది అంకితమైన SQL రైటింగ్ ఇంటర్ఫేస్. ఇది ఒక నిర్దిష్ట కోణంలో, కేటలాగ్ నుండి ప్రత్యేక ఇంటర్ఫేస్. డెజ్ మరియు రాబిన్ కేటలాగ్ గురించి మాట్లాడారు, మరియు నేను వర్క్ఫ్లో సేవ చేయడానికి నేరుగా ఎలా తీసుకువచ్చాను అనేదానికి నేరుగా కేటలాగ్ ఇంటర్ఫేస్ మీద కొంచెం దూకుతున్నాను.

నేను ఇక్కడ SQL టైప్ చేయగల స్థలాన్ని ఇక్కడ చూపిస్తున్నాను, మరియు దిగువన మీరు మేము ప్రస్తావిస్తున్న వస్తువుల గురించి కొంత సమాచారం ఉన్నట్లు మీరు చూస్తారు. కాబట్టి నేను ప్రశ్నను టైప్ చేయడాన్ని ప్రారంభించబోతున్నాను మరియు నేను ఈ జోక్యాలలో ఒకదానికి వచ్చినప్పుడు ఆగిపోతాను. కాబట్టి నేను “ఎంచుకోండి” అని టైప్ చేస్తాను మరియు నాకు సంవత్సరం కావాలి. నాకు పేరు కావాలి. నేను కొంత జీతం డేటాను చూడబోతున్నాను. కాబట్టి ఇది ఎడ్యుకేషన్ డేటా సెట్. ఇది ఉన్నత విద్యా సంస్థల గురించి సమాచారాన్ని కలిగి ఉంది మరియు నేను ఈ పట్టికలలో ఒకదానిలో ఉన్న సగటు అధ్యాపకుల జీతం చూస్తున్నాను.

కాబట్టి నేను నిజంగా "జీతం" అనే పదాన్ని టైప్ చేసాను. ఇది కాలమ్ పేరులో సరిగ్గా లేదు. సలహాలను చేయడానికి మేము తార్కిక మెటాడేటా మరియు భౌతిక మెటాడేటా రెండింటినీ ఉపయోగిస్తాము. నేను ఇక్కడ ఎత్తి చూపించదలిచినది ఇక్కడ కనిపించే ఈ పసుపు పెట్టె. ఈ కాలమ్‌లో హెచ్చరిక ఉందని ఇది చెప్పింది. నేను దాని కోసం వెతకలేదు, ఈ డేటాను ఎలా ఉపయోగించాలో నేను క్లాస్ తీసుకోలేదు. ఇది నాకు వచ్చింది, మరియు ఈ డేటాతో సంబంధం ఉన్న గోప్యత ఒప్పందం గురించి ఇది ఒక హెచ్చరిక అవుతుంది. కాబట్టి కొన్ని బహిర్గతం నియమాలు ఉన్నాయి. నేను ఈ డేటాను ప్రశ్నించబోతున్నట్లయితే, నేను ఈ పట్టిక నుండి డేటాను తీయబోతున్నాను, నేను దానిని ఎలా బహిర్గతం చేస్తానో జాగ్రత్తగా ఉండాలి. కాబట్టి మీకు ఇక్కడ పాలన విధానం ఉంది. నేను డేటాను చూస్తున్న సమయంలో దాని గురించి నాకు తెలిసినప్పుడు ఈ విధానం పాటించడం చాలా సులభం చేసే కొన్ని సమ్మతి సవాళ్లు ఉన్నాయి.

కాబట్టి నేను నా దగ్గరకు వచ్చాను, ఆపై నేను కూడా ట్యూషన్ చూడబోతున్నాను. మరియు ఇక్కడ ప్రివ్యూలు అమలులోకి వస్తాయి. ఈ ట్యూషన్ కాలమ్‌లో, నేను చూస్తున్నాను - సంస్థ పట్టికలో ట్యూషన్ కాలమ్ ఉంది మరియు నేను దాని ప్రొఫైల్‌ను చూస్తున్నాను. అలేషన్ వెళ్లి టేబుల్స్ నుండి నమూనా డేటాను లాగుతుంది మరియు ఈ సందర్భంలో, ఇది నాకు చాలా ఆసక్తికరంగా ఉంటుంది. ఇది విలువల పంపిణీని నాకు చూపుతోంది, మరియు ఇది సున్నా విలువ నమూనాలో 45 రెట్లు చూపించిందని మరియు ఇతర విలువ కంటే ఎక్కువ అని నాకు చూపుతోంది. కాబట్టి మేము కొంత డేటాను కోల్పోతున్నామని నాకు కొంత భావం ఉంది.

నేను అధునాతన విశ్లేషకుడిని అయితే, ఇది ఇప్పటికే నా వర్క్‌ఫ్లో భాగం కావచ్చు. నేను ప్రత్యేకంగా ఖచ్చితమైనవాడిని అయితే, నేను ముందుగానే ప్రొఫైలింగ్ ప్రశ్నల సమూహాన్ని చేస్తాను. నేను క్రొత్త డేటాను చేరుకున్నప్పుడల్లా, మా డేటా కవరేజ్ ఏమిటో నేను ఎప్పుడూ ఆలోచిస్తాను. నేను డేటా విశ్లేషణకు క్రొత్తగా ఉంటే, నేను ఈ డేటా సెట్‌కు క్రొత్తగా ఉంటే, ఒక కాలమ్ ఉంటే, అది అన్ని సమయాలలో నిండి ఉంటుందని నేను అనుకోవచ్చు. లేదా అది నింపకపోతే, అది సున్నా కాదు, శూన్యమైనది లేదా అలాంటిదేనని నేను అనుకోవచ్చు. ఈ సందర్భంలో, మనకు చాలా సున్నాలు ఉన్నాయి, మరియు నేను సగటున చేస్తే, అవి బహుశా తప్పు కావచ్చు, ఆ సున్నాలు డేటా తప్పిపోయిన బదులు వాస్తవానికి సున్నా అని నేను అనుకుంటే.

అయితే, ఈ ప్రివ్యూను మీ వర్క్‌ఫ్లో తీసుకురావడం ద్వారా, ఈ సమాచారాన్ని పరిశీలించమని ఒక రకమైన మిమ్మల్ని అడుగుతుంది మరియు ఆ డేటా గురించి ఇక్కడ గమనించదగ్గ విషయం ఉందని అనుభవశూన్యుడు విశ్లేషకులకు కూడా అవకాశం ఇస్తుంది. కాబట్టి మాకు ఆ ప్రివ్యూ ఉంది.

నేను చేయబోయే తదుపరి విషయం ఏమిటంటే, ఈ సమాచారాన్ని ఏ టేబుల్స్ నుండి పొందాలో తెలుసుకోవడానికి ప్రయత్నిస్తాను. ఇక్కడ స్మార్ట్ సలహాలను చూస్తాము. ఇది ఎప్పటికప్పుడు జరుగుతోంది, కానీ ప్రత్యేకంగా ఇక్కడ, నేను ఏమీ టైప్ చేయలేదు కాని ఈ ప్రశ్న కోసం నేను ఏ టేబుల్స్ ఉపయోగించాలనుకుంటున్నాను అని నాకు సూచించబోతున్నాను. మరియు దీని గురించి తెలుసుకోవలసిన అతి ముఖ్యమైన విషయం ఏమిటంటే ఇది వినియోగ గణాంకాలను సద్వినియోగం చేసుకుంటుంది. ఉదాహరణకు, ఒకే డేటాబేస్లో మీరు వందల వేల టేబుల్స్ కలిగి ఉన్న ఇబే వంటి వాతావరణంలో, గోధుమలను గడ్డి నుండి కొట్టగల సాధనాన్ని కలిగి ఉండటం మరియు ఆ వినియోగ గణాంకాలను ఉపయోగించడం నిజంగా వీటిని తయారు చేయడానికి చాలా ముఖ్యమైనది ఏదో విలువైన సూచనలు.

కనుక ఇది ఈ పట్టికను సూచించబోతోంది. నేను పరిదృశ్యాన్ని చూసినప్పుడు, నా ప్రశ్నలో నేను ఇప్పటికే పేర్కొన్న మూడు నిలువు వరుసలను హైలైట్ చేస్తాము. కనుక ఇది మూడు ఉందని నాకు తెలుసు, కాని దీనికి పేరు లేదు. నేను పేరు పొందాలి, కాబట్టి నేను చేరబోతున్నాను. నేను చేరినప్పుడు, ఇప్పుడు మళ్ళీ నాకు ఈ ప్రివ్యూలు ఉన్నాయి, నాకు కనుగొనడంలో సహాయపడతాయి, పేరు ఉన్న పట్టిక ఎక్కడ ఉంది. కాబట్టి ఇది చక్కగా ఆకృతీకరించిన, సరిగ్గా పెద్ద క్యాపిటలైజ్డ్ పేరును కలిగి ఉందని నేను చూశాను. ఇది ప్రతి సంస్థకు ఒక పేరుతో ఒక వరుసను కలిగి ఉన్నట్లు అనిపిస్తుంది, కాబట్టి నేను దాన్ని పట్టుకోబోతున్నాను, ఇప్పుడు నాకు చేరడానికి పరిస్థితి అవసరం.

అందువల్ల, ఇక్కడ Alation ఏమి చేస్తుందో మళ్ళీ ప్రశ్న లాగ్‌లను తిరిగి చూడటం, ఈ రెండు పట్టికలు చేరిన మునుపటి సార్లు చూడటం మరియు వాటిలో చేరడానికి వివిధ మార్గాలను సూచించడం. మరోసారి, కొంత జోక్యం ఉంది. నేను వీటిలో ఒకదాన్ని పరిశీలిస్తే, ఇది మొత్తం విశ్లేషణకు మాత్రమే ఉపయోగించబడాలని నాకు చూపించే హెచ్చరిక వచ్చింది. మీరు సంస్థ ద్వారా సంస్థ ద్వారా ఏదైనా చేయటానికి ప్రయత్నిస్తుంటే అది తప్పుగా తయారవుతుంది. మీరు విశ్వవిద్యాలయ-స్థాయి డేటాను కోరుకుంటే, ఈ రెండు పట్టికలలో చేరడానికి సరైన మార్గంగా OPE ID తో ఇది ఆమోదించబడింది. నేను అలా చేస్తాను, మరియు ఇది ఒక చిన్న ప్రశ్న, కాని డేటా ఏమిటనే దానిపై ఎటువంటి అవగాహన లేకుండా నిజంగా నా ప్రశ్న రాశాను. నేను ఈ డేటా సెట్ యొక్క ER రేఖాచిత్రాన్ని ఎప్పుడూ చూడలేదు, కాని ఈ డేటా గురించి నాకు చాలా తెలుసు ఎందుకంటే సంబంధిత సమాచారం నాకు వస్తోంది.

కాబట్టి అవి ఒక సమగ్ర ప్రశ్న సాధనం ద్వారా కేటలాగ్ చేయగల మూడు మార్గాలు, మీరు ప్రశ్నలు వ్రాస్తున్నప్పుడు వర్క్‌ఫ్లోను నేరుగా ప్రభావితం చేస్తాయి. ప్రశ్న సాధనాన్ని కేటలాగ్‌తో అనుసంధానించడం వల్ల కలిగే ఇతర ప్రయోజనాల్లో ఒకటి ఏమిటంటే, నేను నా ప్రశ్నను పూర్తి చేసి, దాన్ని సేవ్ చేసినప్పుడు, “ఇన్స్టిట్యూషన్ ట్యూషన్ మరియు ఫ్యాకల్టీ జీతం” వంటి శీర్షికను ఉంచగలను, ఆపై నాకు ఇక్కడ ఒక బటన్ ఉంది దీన్ని కేటలాగ్‌లో ప్రచురించడానికి నన్ను అనుమతిస్తుంది. దీన్ని తిరిగి తినిపించడం నాకు చాలా సులభం అవుతుంది. నేను దానిని ప్రచురించకపోయినా, ఇది ప్రశ్న లాగ్‌లో భాగంగా సంగ్రహించబడుతుంది, కాని నేను దానిని ప్రచురించినప్పుడు, వాస్తవానికి ఇది అన్ని డేటా పరిజ్ఞానం నివసించే కేంద్రీకృత ప్రదేశం యొక్క భాగం అవుతుంది.

అందువల్ల నేను అలేషన్‌లోని అన్ని ప్రశ్నల కోసం శోధించు క్లిక్ చేస్తే, నేను తీసుకెళ్లబోతున్నాను - మరియు ఇక్కడ మీరు మరికొన్ని కేటలాగ్ ఇంటర్‌ఫేస్‌ను చూస్తారు - నేను ప్రత్యేకమైన ప్రశ్న శోధనకు తీసుకువెళతాను, అది నాకు ప్రశ్నలను కనుగొనడానికి ఒక మార్గాన్ని చూపుతుంది మొత్తం సంస్థ. నా కొత్తగా ప్రచురించిన ప్రశ్న ఎగువన ఉందని మీరు చూస్తారు. మరికొందరు ఇక్కడ గమనించవచ్చు, మేము ప్రశ్నలను సంగ్రహించేటప్పుడు, మేము రచయితలను కూడా పట్టుకుంటాము మరియు రచయితగా నాకు మరియు ఈ డేటా వస్తువుల మధ్య ఈ సంబంధాన్ని నేను ఇప్పుడు ఏదో తెలుసుకున్నాను. నేను ఈ ప్రశ్నపై మరియు ఈ డేటా వస్తువులపై నిపుణుడిగా స్థిరపడుతున్నాను. ప్రజలు డేటా గురించి తెలుసుకోవడానికి అవసరమైనప్పుడు ఇది నిజంగా సహాయపడుతుంది, అప్పుడు వారు తెలుసుకోవడానికి సరైన వ్యక్తిని కనుగొనవచ్చు. నేను నిజంగా డేటాకు క్రొత్తగా ఉంటే, నేను అధునాతన విశ్లేషకుడిగా ఉన్నాను - ఒక అధునాతన విశ్లేషకుడిగా, నేను దీనిని చూడవచ్చు మరియు క్రొత్త డేటా సమితిలో నన్ను ప్రారంభించే ఉదాహరణల సమూహాన్ని చూడవచ్చు. SQL తో సూపర్ అవగాహన లేని వ్యక్తిగా, నేను ముందుగా తయారుచేసిన ప్రశ్నలను కనుగొనగలను, అవి నేను సద్వినియోగం చేసుకోగల నివేదికలు.

మధ్యస్థ SAT స్కోర్‌ల గురించి ఫిల్ మజానెట్ రాసినది ఇక్కడ ఉంది. దీనిపై క్లిక్ చేయండి మరియు నేను ప్రశ్న కోసం ఒక కేటలాగ్ పేజీని పొందుతాను. ఇది ఈ ప్రశ్నను సూచించే ఒక వ్యాసం గురించి మాట్లాడుతుంది, కాబట్టి నేను దానిని ఎలా ఉపయోగించాలో నేర్చుకోవాలనుకుంటే చదవడానికి కొన్ని డాక్యుమెంటేషన్ ఉంది. కంపోజ్ బటన్‌ను క్లిక్ చేయడం ద్వారా నేను దానిని ప్రశ్న సాధనంలో తెరవగలను మరియు దాన్ని సవరించకుండానే నేను ఇక్కడే అమలు చేయగలను. వాస్తవానికి, మీరు మా తేలికపాటి రిపోర్టింగ్ సామర్ధ్యాలను కొంచెం చూడవచ్చు, ఇక్కడ, మీరు ప్రశ్న వ్రాస్తున్నప్పుడు, మీరు ఇలాంటి టెంప్లేట్ వేరియబుల్‌లో పడవచ్చు మరియు ఇది ప్రశ్న ఆధారంగా అమలు చేయడానికి ఒక ఫారమ్‌ను రూపొందించడానికి ఒక సరళమైన మార్గాన్ని సృష్టిస్తుంది పారామితులపై.

కాబట్టి నేను డెమో కోసం కలిగి ఉన్నాను. నేను స్లైడ్‌లకు తిరిగి మారబోతున్నాను. ఒక రకమైన రీక్యాప్ కోసం, ప్రశ్న సాధనంలో కనిపించే వస్తువులపై హెచ్చరికలను ఉంచడం ద్వారా ఒక నిర్వాహకుడు, డేటా గవర్నర్ ఎలా జోక్యం చేసుకోగలరో మేము చూపించాము, స్మార్ట్ సూచనలు చేయడానికి డేటా వస్తువుల వాడకంపై అలేషన్ తన జ్ఞానాన్ని ఎలా ఉపయోగిస్తుంది, అది ఎలా తెస్తుంది విశ్లేషకులు నిర్దిష్ట వస్తువులను తాకినప్పుడు వారి వర్క్‌ఫ్లోలను మెరుగుపరచడానికి ప్రొఫైలింగ్ మరియు ఇతర చిట్కాలలో మరియు కొత్త ప్రశ్నలు వ్రాసినప్పుడు ఆ రకమైన ఫీడ్‌లు కేటలాగ్‌లోకి ఎలా తిరిగి వస్తాయి.

సహజంగానే నేను సంస్థ తరపున ప్రతినిధిని. నేను డేటా కేటలాగ్ల గురించి మంచి విషయాలు చెప్పబోతున్నాను. మీరు మా కస్టమర్లలో ఒకరి నుండి నేరుగా వినాలనుకుంటే, సేఫ్‌వే వద్ద ఉన్న క్రిస్టీ అలెన్ విశ్లేషకుల బృందాన్ని నడుపుతున్నారు మరియు మార్కెటింగ్ ప్రయోగాన్ని అందించడానికి గడియారాన్ని నిజంగా ఓడించాల్సిన అవసరం ఉన్న సమయం గురించి మరియు ఆమె మొత్తం బృందం ఆ ప్రాజెక్ట్‌లో సహకరించడానికి మరియు త్వరగా తిరగడానికి అలేషన్‌ను ఉపయోగించింది. కాబట్టి మీరు ఆ కథను తనిఖీ చేయడానికి ఈ బిట్.లై లింక్‌ను అనుసరించవచ్చు లేదా మీ సంస్థలో డేటా కేటలాగ్‌ను అలేషన్ ఎలా తీసుకువస్తుందనే దాని గురించి మీరు కొంచెం వినాలనుకుంటే, వ్యక్తిగతీకరించిన డెమోని ఏర్పాటు చేయడం మాకు సంతోషంగా ఉంది. చాలా ధన్యవాదాలు.

రెబెకా జోజ్వియాక్: చాలా ధన్యవాదాలు, డేవిడ్. నేను ప్రేక్షకుల ప్రశ్నోత్తరాల వైపు తిరిగే ముందు డెజ్ మరియు రాబిన్‌లకు కొన్ని ప్రశ్నలు ఉన్నాయని నేను ఖచ్చితంగా అనుకుంటున్నాను. డెజ్, మీరు మొదట వెళ్లాలనుకుంటున్నారా?

డెజ్ బ్లాంచ్ఫీల్డ్: ఖచ్చితంగా. ప్రచురించిన ప్రశ్నల యొక్క ఈ భావన యొక్క ఆలోచనను నేను ఇష్టపడుతున్నాను మరియు దానిని తిరిగి రచయిత యొక్క మూలానికి అనుసంధానిస్తున్నాను. అంతర్గత అనువర్తన దుకాణం యొక్క ఈ ఆలోచనకు నేను దీర్ఘకాల ఛాంపియన్‌గా ఉన్నాను మరియు దానిపై నిర్మించడానికి ఇది నిజంగా గొప్ప పునాది అని నేను అనుకుంటున్నాను.

మీరు ఇలా చేస్తున్న కొన్ని సంస్థలపై కొంత అవగాహన పొందడానికి నేను వచ్చాను, మరియు డేటాను కనుగొనటానికి మీ సాధనం మరియు ప్లాట్‌ఫారమ్‌ను సమం చేయడమే కాకుండా ఈ మొత్తం ప్రయాణంతో వారు కలిగి ఉన్న కొన్ని విజయ కథలు. అప్పుడు వారి అంతర్గత సాంస్కృతిక మరియు ప్రవర్తనా లక్షణాలను కూడా మారుస్తుంది. ఇప్పుడు మీరు ఈ విధమైన అంతర్గత అనువర్తన దుకాణాన్ని కలిగి ఉన్నారు, ఇక్కడ మీరు డౌన్‌లోడ్ చేసుకోవచ్చు, వారు దానిని కనుగొనలేకపోయే భావన, కానీ వారు నిజంగా ఆ జ్ఞానాన్ని ఉంచే వారితో చిన్న సంఘాలను అభివృద్ధి చేయడం ప్రారంభించవచ్చు.

డేవిడ్ క్రాఫోర్డ్: అవును, మేము ఆశ్చర్యపోయామని అనుకుంటున్నాను. అడ్టెక్‌లోని ప్రొడక్ట్ మేనేజర్‌గా నా గతం నుండి మరియు మేము మాట్లాడిన అన్ని కస్టమర్ల నుండి ప్రశ్నలను పంచుకునే విలువను మేము విశ్వసిస్తున్నాము, కాని ఇది కస్టమర్‌ల యొక్క మొట్టమొదటి విషయాలలో ఎంత తరచుగా ఉందో నేను ఇప్పటికీ ఆశ్చర్యపోతున్నాను వారు అలేషన్ నుండి బయటపడే విలువ గురించి మాట్లాడండి.

ఇన్వాయిస్ 2 గో అని పిలువబడే మా కస్టమర్లలో ఒకరి వద్ద నేను ప్రశ్న సాధనం యొక్క కొంత యూజర్ టెస్టింగ్ చేస్తున్నాను, మరియు వారికి క్రొత్తగా ఉన్న ప్రొడక్ట్ మేనేజర్ ఉన్నారు, మరియు వారు చెప్పారు - యూజర్ టెస్ట్ సమయంలో అసంపూర్తిగా అతను నాకు చెప్పాడు, “నేను నిజంగా కాదు ఇది SQL ద్వారా రాయడం తప్ప అది అలేషన్ ద్వారా సులభతరం చేయబడింది. ”మరియు వాస్తవానికి, PM గా, నేను ఒక రకంగా వెళ్తాను, “ మీ ఉద్దేశ్యం ఏమిటి, మేము ఎలా చేసాము? ”మరియు అతను ఇలా అన్నాడు, “ సరే, నిజంగా ఇది కేవలం ఎందుకంటే నేను లాగిన్ అవ్వగలను మరియు ఇప్పటికే ఉన్న ఈ ప్రశ్నలన్నింటినీ నేను చూడగలను. ”SQL తో ఖాళీ స్లేట్‌తో ప్రారంభించడం చాలా కష్టతరమైన విషయం, కానీ ఇప్పటికే ఉన్న ప్రశ్నను సవరించడం, అక్కడ ఫలితాన్ని మీరు చూడవచ్చు మరియు మీరు చెప్పగలరు, “ఓహ్, నాకు ఈ అదనపు కాలమ్ అవసరం, ” లేదా, “నేను దానిని ఒక నిర్దిష్ట శ్రేణి తేదీలకు ఫిల్టర్ చేయాలి, ” ఇది చాలా సులభం.

ఉత్పత్తి నిర్వాహకులు, సేల్స్ ఆప్స్‌లో ఉన్నవారు, ఎంచుకోవడం మొదలుపెట్టేవారు, మరియు ఎల్లప్పుడూ SQL నేర్చుకోవాలనుకునేవారు మరియు ఈ కేటలాగ్‌ను ఉపయోగించడం ద్వారా దాన్ని ఎంచుకోవడం మొదలుపెట్టేవారు వంటి సహాయక పాత్రలను మేము చూశాము. ఓపెన్ సోర్స్ విధమైన చేయడానికి చాలా కంపెనీలు ప్రయత్నించాయని మేము కూడా చూశాము. నేను అంతర్గతంగా ఈ రకమైన వస్తువులను నిర్మించడానికి ప్రయత్నించాను, అక్కడ వారు ప్రశ్నలను ట్రాక్ చేసి అందుబాటులో ఉంచుతారు మరియు వాటిని ఉపయోగకరంగా చేయడానికి కొన్ని రకాల గమ్మత్తైన డిజైన్ సవాళ్లు ఉన్నాయి. ఫేస్‌బుక్‌లో వారు హైపాల్ అని పిలిచే ఒక అంతర్గత సాధనాన్ని కలిగి ఉన్నారు, ఆ విధంగా హైవ్‌లో వ్రాసిన అన్ని ప్రశ్నలను సంగ్రహించారు, కానీ మీరు కనుగొన్నది ఏమిటంటే, మీరు వినియోగదారులను సరైన మార్గంలో తిప్పికొట్టకపోతే, మీరు ఒక దానితో ముగుస్తుంది ఎంచుకున్న స్టేట్మెంట్ల జాబితా. మరియు ఒక ప్రశ్న నాకు ఉపయోగకరంగా ఉందా లేదా ఏమైనా మంచిదా అని గుర్తించడానికి ప్రయత్నిస్తున్న వినియోగదారుగా, నేను ఎంచుకున్న స్టేట్‌మెంట్‌ల యొక్క సుదీర్ఘ జాబితాను చూస్తే, అక్కడ విలువ నుండి ఏదో పొందడానికి నాకు చాలా సమయం పడుతుంది. మొదటి నుండి ప్రారంభమవుతుంది. సరైన అంశాలను ముందుకి తీసుకువచ్చే మరియు ఉపయోగకరమైన మార్గంలో అందించే ప్రశ్న కేటలాగ్‌ను ఎలా తయారు చేయాలో మేము చాలా జాగ్రత్తగా ఆలోచించాము.

డెజ్ బ్లాంచ్ఫీల్డ్: మనమందరం చాలా చిన్న వయస్సు నుండి, యుక్తవయస్సు వరకు, అనేక విధాలుగా ఈ ప్రయాణంలో వెళ్తామని నేను అనుకుంటున్నాను. టెక్నాలజీల సమూహం. నేను, వ్యక్తిగతంగా నేనే, నేను కోడ్ను కత్తిరించడం నేర్చుకోవడం వంటి అదే నిజమైన విషయం ద్వారా వెళ్ళాను. నేను మ్యాగజైన్స్ మరియు తరువాత పుస్తకాల ద్వారా వెళ్తాను, మరియు నేను ఒక నిర్దిష్ట స్థాయికి చదువుతాను, ఆపై నేను వెళ్లి దానిపై మరికొంత శిక్షణ మరియు విద్యను పొందవలసి ఉంది.

కానీ అనుకోకుండా నేను నేర్పించడం మరియు పత్రికలు చదవడం మరియు పుస్తకాలు చదవడం మరియు ఇతరుల కార్యక్రమాలను కత్తిరించడం మరియు దానిపై కోర్సులకు వెళ్ళడం వంటివి చేస్తున్నప్పుడు కూడా, నేను ఇతరులతో మాట్లాడటం వలె కోర్సులు చేయకుండా చాలా నేర్చుకున్నాను. కొన్ని అనుభవాలు కలిగిన వ్యక్తులు. మరియు ఇది ఒక ఆసక్తికరమైన ఆవిష్కరణ అని నేను అనుకుంటున్నాను, ఇప్పుడు మీరు దానిని డేటా అనలిటిక్స్కు తీసుకువచ్చారు, మేము ప్రాథమికంగా అదే సమాంతరాన్ని చూస్తున్నాము, మానవులు స్థిరంగా చాలా స్మార్ట్.

నేను అర్థం చేసుకోవడానికి నిజంగా ఆసక్తిగా ఉన్న మరొక విషయం ఏమిటంటే, చాలా సంస్థలు, “ఆ స్థానానికి చేరుకోవడానికి ఎంత సమయం పడుతుంది?” అని అడగబోతున్నారు. ప్రజలు వచ్చినప్పుడు టిప్పింగ్ పాయింట్ టైమ్-ఫ్రేమ్ వారీగా ఏమిటి మీ ప్లాట్‌ఫాం ఇన్‌స్టాల్ చేయబడింది మరియు వారు సాధనాల రకాలను కనుగొనడం ప్రారంభించారు? ప్రజలు ఈ విషయాన్ని నిజంగా ఎంత త్వరగా "ఎ-హ" గా మారుస్తారో వారు ఎంత త్వరగా ఉన్నారు, అక్కడ వారు ROI గురించి చింతించటం లేదని వారు గ్రహించారు, ఎందుకంటే అది అక్కడ ఉంది, కానీ ఇప్పుడు వారు వ్యాపారం చేసే విధానాన్ని మారుస్తున్నారు ? మరియు వారు కోల్పోయిన కళను కనుగొన్నారు మరియు వారు నిజంగా ఏదైనా చేయగలరని వారు భావిస్తున్నారు, దానితో నిజంగా సరదాగా ఉంటారు.

డేవిడ్ క్రాఫోర్డ్: అవును, నేను దాన్ని కొద్దిగా తాకగలను. నేను వ్యవస్థాపించినప్పుడు, డేటా వ్యవస్థల్లోకి నేరుగా అనుసంధానించబడిన కేటలాగ్ గురించి ప్రజలు ఇష్టపడే ఒక మంచి విషయం ఏమిటంటే, మీరు దాన్ని ఖాళీగా ప్రారంభించవద్దు, అక్కడ మీరు దాన్ని పూరించాలి పేజీ వారీగా. మునుపటి డేటా పరిష్కారాల విషయంలో ఇది ఒక రకమైన నిజం, ఇక్కడ మీరు ఖాళీ సాధనంతో ప్రారంభించాలనుకుంటున్నారు మరియు మీరు డాక్యుమెంట్ చేయదలిచిన ప్రతిదానికీ ఒక పేజీని సృష్టించడం ప్రారంభించాలి.

మెటాడేటాను సంగ్రహించడం ద్వారా మేము చాలా విషయాలను స్వయంచాలకంగా డాక్యుమెంట్ చేస్తున్నందున, సాఫ్ట్‌వేర్‌ను ఇన్‌స్టాల్ చేసిన కొద్ది రోజుల్లోనే, మీ డేటా వాతావరణం యొక్క చిత్రాన్ని మీరు కలిగి ఉండవచ్చు, అది సాధనంలో కనీసం 80 శాతం ఉంటుంది. ప్రజలు సాధనంతో ప్రశ్నలు రాయడం ప్రారంభించిన వెంటనే, అవి స్వయంచాలకంగా కేటలాగ్‌లోకి తిరిగి సేవ్ చేయబడతాయి మరియు అందువల్ల వారు కూడా చూపించడం ప్రారంభిస్తారు.

నేను చెప్పడంలో అతిగా ఆసక్తి చూపడం ఇష్టం లేదు. నేను రెండు వారాలు ఒక నెల వరకు మంచి సంప్రదాయవాద అంచనా అని అనుకుంటున్నాను. రెండు వారాల నుండి ఒక నెల వరకు, సాంప్రదాయిక అంచనా నిజంగా తిరగడం మరియు మీరు దాని నుండి విలువను పొందుతున్నట్లు అనిపిస్తుంది, మీరు కొంత జ్ఞానాన్ని పంచుకోవడం మొదలుపెట్టి, అక్కడకు వెళ్లి మీ డేటా గురించి తెలుసుకోగలుగుతారు.

డెజ్ బ్లాంచ్ఫీల్డ్: మీరు దాని గురించి ఆలోచించినప్పుడు ఇది చాలా ఆశ్చర్యకరమైనది. మీరు సమర్థవంతంగా ఇండెక్సింగ్ మరియు కేటలాగ్ చేస్తున్న కొన్ని పెద్ద డేటా ప్లాట్‌ఫారమ్‌లు అమలు చేయడానికి మరియు అమలు చేయడానికి మరియు సరిగ్గా నిలబడటానికి కొన్నిసార్లు సంవత్సరానికి పడుతుంది.

నేను రాబిన్ బ్లూర్‌కు అప్పగించే ముందు మీ కోసం నేను అడిగిన చివరి ప్రశ్న కనెక్టర్లు. వెంటనే నా వద్దకు దూకిన వాటిలో ఒకటి మీరు స్పష్టంగా ఆ మొత్తం సవాలును క్రమబద్ధీకరించారు. కాబట్టి జంట ప్రశ్నలు చాలా త్వరగా ఉన్నాయి. ఒకటి, కనెక్టర్లు ఎంత వేగంగా అమలు అవుతాయి? సహజంగానే మీరు ఒరాకిల్స్ మరియు టెరాడాటాస్ వంటి అతిపెద్ద ప్లాట్‌ఫామ్‌తో ప్రారంభిస్తారు మరియు DB2 లు. కొత్త కనెక్టర్లు ఎంత క్రమం తప్పకుండా వస్తున్నాయో మీరు చూస్తున్నారు, మరియు వారు ఏ సమయం తీసుకుంటారు? మీరు వారికి ప్రామాణిక ఫ్రేమ్‌వర్క్ కలిగి ఉన్నారని నేను imagine హించాను. మరియు మీరు వాటిలో ఎంత లోతుగా వెళతారు? ఉదాహరణకు, ప్రపంచంలోని ఒరాకిల్స్ మరియు ఐబిఎంలు, మరియు టెరడేటా కూడా, ఆపై చివరి ఓపెన్ సోర్స్ ప్లాట్‌ఫామ్‌లలో కొన్ని జనాదరణ పొందాయి. వారు మీతో నేరుగా పనిచేస్తున్నారా? మీరు దానిని మీరే కనుగొంటున్నారా? ఆ ప్లాట్‌ఫామ్‌లపై మీకు లోపల జ్ఞానం ఉందా?

కనెక్టర్‌ను అభివృద్ధి చేయడం ఎలా ఉంటుంది, మరియు ఆ కనెక్టర్‌లు మీరు చేయగలిగిన ప్రతిదాన్ని కనుగొంటున్నారని నిర్ధారించుకోవడానికి మీరు ఆ భాగస్వామ్యాలకు ఎంత లోతుగా పాల్గొంటారు?

డేవిడ్ క్రాఫోర్డ్: అవును, ఖచ్చితంగా, ఇది గొప్ప ప్రశ్న. చాలా వరకు, మేము కనెక్టర్లను అభివృద్ధి చేయగలమని నేను అనుకుంటున్నాను. మేము చిన్న వయస్సులో ఉన్నప్పుడు మరియు కస్టమర్‌లు లేనప్పుడు మేము ఖచ్చితంగా చేసాము. అంతర్గత ప్రాప్యత అవసరం లేకుండా మేము ఖచ్చితంగా కనెక్షన్‌లను అభివృద్ధి చేయవచ్చు. బహిరంగంగా అందుబాటులో లేని డేటా సిస్టమ్‌లకు మరియు ప్రత్యేకమైన సమాచారం అవసరం లేకుండానే మాకు ప్రత్యేక ప్రాప్యత లభించదు. డేటా సిస్టమ్స్ ద్వారా లభించే మెటాడేటా సేవలను మేము సద్వినియోగం చేసుకుంటాము. తరచుగా అవి చాలా క్లిష్టంగా ఉంటాయి మరియు పని చేయడం కష్టం. నాకు ప్రత్యేకంగా SQL సర్వర్ తెలుసు, వారు ప్రశ్న లాగ్‌ను నిర్వహించే విధానం, అనేక విభిన్న కాన్ఫిగరేషన్‌లు ఉన్నాయి మరియు ఇది మీరు నిజంగా పని చేయాల్సిన విషయం. దీన్ని సరిగ్గా అమర్చడానికి మీరు దానిపై ఉన్న సూక్ష్మ నైపుణ్యాలు మరియు గుబ్బలు మరియు డయల్‌లను అర్థం చేసుకోవాలి మరియు ఇది మేము కస్టమర్లతో కలిసి పని చేసే విషయం.

కానీ కొంతవరకు, ఇది అందుబాటులో ఉన్న పబ్లిక్ API లు లేదా అందుబాటులో ఉన్న పబ్లిక్ ఇంటర్‌ఫేస్‌లు. ఈ కంపెనీలలో చాలా మందితో మాకు భాగస్వామ్యం ఉంది, అది ఎక్కువగా ధృవీకరణకు ఒక మైదానం, తద్వారా మేము పని చేస్తున్నామని వారు సుఖంగా భావిస్తారు మరియు వారు పరీక్ష కోసం మాకు వనరులను కూడా అందించగలరు, కొన్నిసార్లు ప్రారంభ ప్రాప్యత ఒక ప్లాట్‌ఫామ్‌కు రావచ్చు. మేము క్రొత్త సంస్కరణల్లో పని చేస్తాము.

క్రొత్త కనెక్షన్ చుట్టూ తిరగడానికి, నేను మళ్ళీ చెబుతాను, సాంప్రదాయికంగా ఉండటానికి ప్రయత్నిస్తున్నాను, ఆరు వారాల నుండి రెండు నెలల వరకు చెప్పండి. ఇది ఎంత సారూప్యతపై ఆధారపడి ఉంటుంది. కాబట్టి పోస్ట్‌గ్రేలో కొన్ని రెడ్‌షిఫ్ట్‌తో సమానంగా కనిపిస్తాయి. రెడ్‌షిఫ్ట్ మరియు వెర్టికా వారి వివరాలను చాలా పంచుకుంటాయి. కాబట్టి మనం ఆ విషయాలను సద్వినియోగం చేసుకోవచ్చు. కానీ అవును, ఆరు వారాల నుండి రెండు నెలల వరకు న్యాయంగా ఉంటుంది.

మాకు API లు కూడా ఉన్నాయి, అందువల్ల - మేము అలేషన్‌ను మెటాడేటా ప్లాట్‌ఫామ్‌గా భావిస్తాము, కాబట్టి మాకు చేరుకోవడానికి మరియు స్వయంచాలకంగా పట్టుకోవటానికి ఏదైనా అందుబాటులో లేకపోతే, మీరు కనెక్టర్‌ను మీరే వ్రాసి మా సిస్టమ్‌లోకి నెట్టడానికి మార్గాలు ఉన్నాయి ప్రతిదీ ఒకే సెర్చ్ ఇంజిన్‌లో కేంద్రీకృతమై ఉంటుంది.

డెజ్ బ్లాంచ్ఫీల్డ్: ఫన్టాస్టిక్. నేను దానిని అభినందిస్తున్నాను. కాబట్టి మేము దానిని రాబిన్కు అప్పగించబోతున్నాము, ఎందుకంటే అతనికి చాలా ప్రశ్నలు ఉన్నాయని నేను ఖచ్చితంగా అనుకుంటున్నాను. రాబిన్?

రెబెకా జోజ్వియాక్: రాబిన్ మ్యూట్ అయి ఉండవచ్చు.

డెజ్ బ్లాంచ్‌ఫీల్డ్: మీరు మీరే మ్యూట్ చేసుకున్నారు.

రాబిన్ బ్లూర్: అవును, సరియైనది. క్షమించండి, నేను మ్యూట్ చేసాను. మీరు దీన్ని అమలు చేసినప్పుడు, ప్రక్రియ ఏమిటి? నేను చాలా ఆసక్తిగా ఉన్నాను ఎందుకంటే చాలా చోట్ల చాలా డేటా ఉంటుంది. కాబట్టి అది ఎలా పని చేస్తుంది?

డేవిడ్ క్రాఫోర్డ్: అవును, ఖచ్చితంగా. మేము లోపలికి వెళ్తాము, మొదట ఇది మా సర్వర్ యొక్క ప్రొవిజన్ చేయబడిందని, నెట్‌వర్క్ కనెక్షన్లు అందుబాటులో ఉన్నాయని, పోర్ట్‌లు తెరిచి ఉన్నాయని నిర్ధారించుకునే ఒక ఐటి ప్రక్రియ. వారు ఏ వ్యవస్థలతో ప్రారంభించాలనుకుంటున్నారో వారందరికీ తరచుగా తెలుసు. డేటా సిస్టమ్ లోపల తెలుసుకోవడం, ఇది - మరియు కొన్నిసార్లు మేము వారికి సహాయం చేస్తాము. సిస్టమ్‌లో ఎవరు ఏమి మరియు ఎంత మంది వినియోగదారులను ఉపయోగిస్తున్నారో అర్థం చేసుకోవడానికి వారి ప్రశ్న లాగ్‌ను ప్రారంభ పరిశీలన చేయడానికి మేము వారికి సహాయం చేస్తాము. అందువల్ల మేము ఎక్కడ ఉన్నారో తెలుసుకోవడానికి మేము సహాయం చేస్తాము - వారు తరచూ, వారు డేటాబేస్లలోకి లాగిన్ అవుతున్న వందల లేదా వేల మందిని కలిగి ఉంటే, వారు ఎక్కడ లాగిన్ అవుతున్నారో వారికి తెలియదు, కాబట్టి మేము దీని నుండి తెలుసుకోవచ్చు ఒక నెల లేదా అంతకన్నా ఎక్కువ ప్రశ్నలను మీరు లాగిన్ చేసి, ఇక్కడ అమలు చేస్తున్నారని ప్రశ్న లాగ్ చేస్తుంది.

కాబట్టి మేము దానిని సద్వినియోగం చేసుకోవచ్చు, కాని తరచుగా చాలా ముఖ్యమైన వాటిపై మాత్రమే. మేము వాటిని సెటప్ చేస్తాము మరియు "ప్రాధాన్యత ఇద్దాం" అని చెప్పే ప్రక్రియ ఉంది. సమాంతరంగా జరిగే కార్యకలాపాల శ్రేణి ఉంది. ప్రశ్న సాధనాన్ని ఉపయోగించడం కోసం నేను శిక్షణపై దృష్టి పెడతాను. ప్రజలు ప్రశ్న సాధనాన్ని ఉపయోగించడం ప్రారంభించిన తర్వాత, మొదట, చాలా మంది ప్రజలు తమ విభిన్న వ్యవస్థలన్నింటికీ ఒకే ఇంటర్‌ఫేస్ అనే వాస్తవాన్ని ఇష్టపడతారు. ఇది వెబ్ ఆధారిత వాస్తవాన్ని వారు ఇష్టపడతారు, వారు కోరుకోకపోతే ఏ ఇన్‌స్టాల్‌లను కలిగి ఉండరు. భద్రతా దృక్కోణం నుండి, నెట్‌వర్క్ దృక్కోణం నుండి, ఒక కార్ప్ ఐటి నెట్‌వర్క్ మరియు ఉత్పత్తి డేటా వనరులు నివసించే డేటా సెంటర్ మధ్య ఒకే ఎంట్రీ పాయింట్‌ను కలిగి ఉండటానికి వారు ఇష్టపడతారు. అందువల్ల, వారు ప్రశ్న సాధనంగా అలేషన్‌ను సెటప్ చేస్తారు మరియు ఈ అన్ని వ్యవస్థలకు ప్రాప్యత బిందువుగా కంపోజ్‌ను ఉపయోగించడం ప్రారంభిస్తారు.

కాబట్టి అది జరిగిన తర్వాత, శిక్షణపై మేము దృష్టి కేంద్రీకరించడం ఏమిటంటే, వెబ్-ఆధారిత లేదా సర్వర్-ఆధారిత ప్రశ్న సాధనం మరియు మీ డెస్క్‌టాప్‌లో మీరు కలిగి ఉన్న వాటికి మధ్య ఉన్న కొన్ని తేడాలు ఏమిటో అర్థం చేసుకోవడం మరియు ఉపయోగించడం యొక్క కొన్ని సూక్ష్మ నైపుణ్యాలు ఆ. అదే సమయంలో మనం చేయటానికి ప్రయత్నిస్తున్నది చాలా విలువైన డేటాను గుర్తించడం, ప్రశ్న లాగ్ సమాచారాన్ని మళ్ళీ సద్వినియోగం చేసుకోవడం మరియు “హే, మీరు లోపలికి వెళ్లి వీటిని అర్థం చేసుకోవడానికి ప్రజలకు సహాయపడవచ్చు. ఈ పట్టికలలో ప్రతినిధి ప్రశ్నలను ప్రచురించడం ప్రారంభిద్దాం. ”ఇది కొన్నిసార్లు ప్రజలను త్వరగా తిప్పికొట్టడానికి అత్యంత ప్రభావవంతమైన మార్గం. మీ స్వంత ప్రశ్న చరిత్రను చూద్దాం, ఈ విషయాలను ప్రచురించండి, తద్వారా అవి మొదటి ప్రశ్నలుగా కనిపిస్తాయి. ప్రజలు పట్టిక పేజీని చూసినప్పుడు, వారు ఆ పట్టికను తాకిన అన్ని ప్రశ్నలను చూడగలరు మరియు వారు అక్కడ నుండి ప్రారంభించవచ్చు. ఆపై ఈ వస్తువులకు శీర్షికలు మరియు వివరణలను జోడించడం ప్రారంభిద్దాం, తద్వారా అవి కనుగొనడం మరియు శోధించడం సులభం, తద్వారా దాన్ని ఎలా ఉపయోగించాలో మీకు కొన్ని సూక్ష్మ నైపుణ్యాలు తెలుసు.

మేము ప్రశ్న లాగ్‌ను క్షుణ్ణంగా పరిశీలించేలా చూస్తాము, తద్వారా మేము వంశాన్ని సృష్టించగలము. మనం చేసే పనులలో ఒకటి, డేటా ఒక పట్టిక నుండి మరొకదానికి కదిలే సమయాల్లో ప్రశ్న లాగ్ ద్వారా చూడటం, మరియు ఇది డేటా పట్టిక గురించి తరచుగా అడిగే ప్రశ్నలలో ఒకదాన్ని ఉంచడానికి అనుమతిస్తుంది, ఇది ఎక్కడ నుండి వచ్చింది? నేను ఎలా విశ్వసించగలను? కాబట్టి మనం చూపించగలిగేది అది ఏ ఇతర పట్టికల నుండి వచ్చింది అనేది మాత్రమే కాదు, కానీ అది మార్గం వెంట ఎలా మార్చబడింది. మళ్ళీ, ఇది ప్రశ్న లాగ్ ద్వారా ఆధారితం.

కాబట్టి మేము ఆ విషయాలు ఏర్పాటు చేయబడ్డామని మరియు మేము వ్యవస్థలోకి వంశాన్ని పొందుతున్నామని నిర్ధారించుకుంటాము మరియు మేము టేబుల్ పేజీలలో స్థాపించగలిగే అత్యంత విలువైన మరియు అత్యంత పరపతి కలిగిన మెటాడేటా ముక్కలను లక్ష్యంగా చేసుకుంటున్నాము, తద్వారా మీరు శోధించినప్పుడు, మీకు ఉపయోగకరమైనది కనిపిస్తుంది.

రాబిన్ బ్లూర్: సరే. మరొక ప్రశ్న - ప్రేక్షకుల నుండి చాలా ప్రశ్నలు ఉన్నాయి, కాబట్టి నేను ఇక్కడ ఎక్కువ సమయం తీసుకోవాలనుకోవడం లేదు - ఆ రకమైన గుర్తుకు వచ్చే ఇతర ప్రశ్న ఏమిటంటే, కేవలం నొప్పి పాయింట్లు. చాలా సాఫ్ట్‌వేర్ కొనుగోలు చేయబడింది ఎందుకంటే ప్రజలు ఒక విధంగా లేదా మరొక విధంగా, ఏదో ఒక సమస్యతో ఉన్నారు. కాబట్టి ప్రజలను అలేషన్‌కు నడిపించే సాధారణ నొప్పి పాయింట్ ఏమిటి?

డేవిడ్ క్రాఫోర్డ్: అవును. కొన్ని ఉన్నాయని నేను అనుకుంటున్నాను, కాని మనం చాలా తరచుగా వినే వాటిలో ఒకటి విశ్లేషకుడు ఆన్‌బోర్డింగ్. "నేను ఈ డేటా నుండి కొత్త అంతర్దృష్టులను ఉత్పత్తి చేయబోయే 10, 20, 30 మంది వ్యక్తులను నియమించాల్సిన అవసరం ఉంది, వారు ఎలా వేగవంతం అవుతారు?" కాబట్టి విశ్లేషకుడు ఆన్‌బోర్డింగ్ అనేది మనం ఖచ్చితంగా అధిగమించేందుకు. డేటా గురించి ఇతర వ్యక్తుల ప్రశ్నలకు సమాధానం ఇవ్వడానికి సీనియర్ విశ్లేషకులను వారి సమయాన్ని వెచ్చించకుండా ఉపశమనం కూడా ఉంది. ఇది చాలా తరచుగా జరుగుతుంది. మరియు ఆ రెండూ తప్పనిసరిగా విద్యా సమస్యలు.

ఎవరైనా పని చేయడానికి ఒక సరికొత్త డేటా వాతావరణాన్ని ఏర్పాటు చేయాలనుకున్నప్పుడు ప్రజలు అలేషన్‌ను స్వీకరించడాన్ని మనం చూసే మరొక స్థలాన్ని నేను చెబుతాను. ప్రజలు దీనిని సద్వినియోగం చేసుకోవడానికి అంతర్గతంగా ప్రకటనలు మరియు మార్కెట్ చేయాలనుకుంటున్నారు. ఆ కొత్త విశ్లేషణాత్మక వాతావరణానికి అలేషన్‌ను ఫ్రంట్ ఎండ్‌గా మార్చడం చాలా ఆకర్షణీయంగా ఉంది. దీనికి డాక్యుమెంటేషన్ వచ్చింది, దీనికి ఒక పరిచయ స్థానం వచ్చింది - వ్యవస్థలకు ప్రాప్యత యొక్క ఒక పాయింట్, కాబట్టి ప్రజలు మన వద్దకు వచ్చే మరొక ప్రదేశం.

రాబిన్ బ్లూర్: సరే, నేను మిమ్మల్ని రెబెక్కాకు పంపిస్తాను ఎందుకంటే ప్రేక్షకులు మిమ్మల్ని సంప్రదించడానికి ప్రయత్నిస్తున్నారు.

రెబెకా జోజ్వియాక్: అవును, మాకు ఇక్కడ మంచి ప్రేక్షకుల ప్రశ్నలు చాలా ఉన్నాయి. మరియు డేవిడ్, ఇది మీకు ప్రత్యేకంగా ఎదురైంది. ఇది దుర్వినియోగ ప్రశ్నలతో ప్రజలతో కొంత అనుభవం ఉన్నవారి నుండి, మరియు అతను రకమైన వినియోగదారులను మనం ఎంతగా శక్తివంతం చేస్తామో, కంప్యూట్ వనరుల బాధ్యతాయుతమైన వినియోగాన్ని నియంత్రించడం కష్టం అని ఆయన అన్నారు. కాబట్టి మీరు తప్పుదారి పట్టించిన కాని సాధారణ ప్రశ్న పదబంధాల ప్రచారం నుండి రక్షించగలరా?

డేవిడ్ క్రాఫోర్డ్: అవును, నేను ఈ ప్రశ్నను చూస్తున్నాను. ఇది గొప్ప ప్రశ్న - ఒకటి మనం చాలా తరచుగా పొందుతాము. మునుపటి కంపెనీలలో నేను నొప్పిని చూశాను, ఇక్కడ మీరు వినియోగదారులకు శిక్షణ ఇవ్వాలి. ఉదాహరణకు, “ఇది లాగ్ టేబుల్, దీనికి లాగ్‌లు సంవత్సరాల తరబడి ఉన్నాయి. మీరు ఈ పట్టికలో ఒక ప్రశ్న రాయబోతున్నట్లయితే, మీరు నిజంగా తేదీని పరిమితం చేయాలి. ”కాబట్టి, ఉదాహరణకు, డేటాబేస్కు యాక్సెస్ ఇవ్వడానికి ముందు నేను మునుపటి కంపెనీలో వెళ్ళిన శిక్షణ ఇది.

దీన్ని పరిష్కరించడానికి మేము ప్రయత్నించే కొన్ని మార్గాలు ఉన్నాయి. ప్రశ్న లాగ్ డేటా దాన్ని పరిష్కరించడానికి నిజంగా విలువైనదని నేను భావిస్తున్నాను. డేటాబేస్ దాని ప్రశ్న ప్లానర్‌తో అంతర్గతంగా ఏమి చేస్తుందో దానికి వ్యతిరేకంగా ఇది మరొక అంతర్దృష్టిని ఇస్తుంది. మరియు మనం చేసేది, ఆ జోక్యాలలో ఒకటి - నేను చూపించిన మాన్యువల్ జోక్యాలను కలిగి ఉన్నాము మరియు అది ఉపయోగకరంగా ఉంది, సరియైనదా? కాబట్టి ఒక నిర్దిష్ట చేరికలో, ఉదాహరణకు, "దీనిని తీసివేద్దాం" అని మీరు చెప్పవచ్చు. స్మార్ట్ సూచనలో చూపించినప్పుడు ఇది పెద్ద ఎర్ర జెండాను కలిగి ఉంటుంది. కనుక ఇది ప్రజలను పొందడానికి ప్రయత్నిస్తున్న ఒక మార్గం.

మేము చేసే మరో విషయం ఏమిటంటే, అమలు-సమయ జోక్యాలలో ఆటోమేటెడ్. మేము చూడటానికి అమలు చేయడానికి ముందు అది ప్రశ్న యొక్క పార్స్ చెట్టును ఉపయోగిస్తుంది, ఇందులో ఒక నిర్దిష్ట వడపోత లేదా మనం అక్కడ చేసే కొన్ని ఇతర విషయాలు ఉన్నాయి. కానీ చాలా విలువైన వాటిలో ఒకటి మరియు వివరించడానికి సరళమైనది, ఇందులో ఫిల్టర్ ఉందా? కాబట్టి నేను ఇప్పుడే ఇచ్చిన ఉదాహరణ లాగా, ఈ లాగ్ టేబుల్, మీరు దానిని ప్రశ్నించబోతున్నట్లయితే, తేదీ పరిధిని కలిగి ఉండాలి, మీరు ఆ తేదీ శ్రేణి వడపోతను వర్తింపజేయాలని ఆదేశించిన పట్టిక పేజీలో పేర్కొనవచ్చు. ఆ ఫిల్టర్‌ను కలిగి లేని ప్రశ్నను ఎవరైనా అమలు చేయడానికి ప్రయత్నిస్తే, అది నిజంగా వాటిని పెద్ద హెచ్చరికతో ఆపివేస్తుంది మరియు ఇది “మీ ప్రశ్నకు ఇలా కనిపించే కొన్ని SQL ని మీరు జోడించాలి” అని ఇది చెబుతుంది. వారు కోరుతున్నారు. మేము వాటిని ఉపయోగించకుండా పూర్తిగా నిషేధించబోము - ఇది చాలా ప్రశ్న, ఇది రోజు చివరిలో, ప్రశ్నలను అమలు చేయవలసి ఉంది. కానీ మేము వారి ముందు చాలా పెద్ద అవరోధం ఉంచాము మరియు మేము వారి సూచనను ఇస్తాము, వారి పనితీరును మెరుగుపరచడానికి ప్రశ్నను సవరించడానికి ఒక కాంక్రీట్ వర్తించే సూచన.

ప్రశ్న లాగ్‌ను గమనించడం ద్వారా మేము కొన్ని సందర్భాల్లో స్వయంచాలకంగా కూడా చేస్తాము. ఈ పట్టికలో కొన్ని పెద్ద శాతం ప్రశ్నలు ఒక నిర్దిష్ట వడపోత లేదా ఒక నిర్దిష్ట చేరడం నిబంధన యొక్క ప్రయోజనాన్ని పొందుతాయని మేము చూస్తే, అప్పుడు మేము దానిని పాపప్ చేస్తాము. మేము దానిని జోక్యానికి ప్రోత్సహిస్తాము. అసలైన, ఇది అంతర్గత డేటా సెట్‌లో నాకు జరిగింది. మాకు కస్టమర్ డేటా ఉంది మరియు మాకు యూజర్ ఐడిలు ఉన్నాయి, కానీ యూజర్ ఐడి సెట్, ఇది ఒక రకమైనది కనుక - ప్రతి కస్టమర్ వద్ద మాకు యూజర్ ఐడిలు ఉన్నాయి. ఇది ప్రత్యేకమైనది కాదు, కాబట్టి మీరు ప్రత్యేకమైన జాయిన్ కీని పొందడానికి క్లయింట్ ID తో జత చేయాలి. మరియు నేను ఒక ప్రశ్న వ్రాస్తున్నాను మరియు నేను ఏదో విశ్లేషించడానికి ప్రయత్నించాను మరియు అది పాప్ అప్ అయ్యింది మరియు “హే, మిగతా అందరూ ఈ పట్టికలలో క్లయింట్ ID మరియు యూజర్ ఐడి రెండింటిలో చేరాలని అనిపిస్తుంది. మీరు ఖచ్చితంగా అలా చేయకూడదని అనుకుంటున్నారా? ”మరియు ఇది నిజంగా కొన్ని తప్పు విశ్లేషణ చేయకుండా నన్ను ఆపివేసింది. కనుక ఇది విశ్లేషణ యొక్క ఖచ్చితత్వంతో పాటు పనితీరు రెండింటికీ పనిచేస్తుంది. కాబట్టి మేము ఆ సమస్యను ఎలా తీసుకుంటాము.

రెబెకా జోజ్వియాక్: అది నాకు ప్రభావవంతంగా అనిపిస్తుంది. మీరు వనరులను హాగ్ చేయకుండా ప్రజలను నిరోధించరని మీరు చెప్పారు, కాని వారు చేస్తున్నది ఉత్తమమైనది కాదని వారికి నేర్పండి, సరియైనదా?

డేవిడ్ క్రాఫోర్డ్: వినియోగదారులు హానికరం కాదని మేము ఎల్లప్పుడూ అనుకుంటాము - వారికి ఉత్తమమైన ఉద్దేశాలను ఇవ్వండి - మరియు మేము ఆ విధంగా చాలా ఓపెన్‌గా ఉండటానికి ప్రయత్నిస్తాము.

రెబెకా జోజ్వియాక్: సరే. ఇక్కడ మరొక ప్రశ్న ఉంది: “మీ పరిష్కారంతో పాటు కేటలాగ్ మేనేజర్ మరియు MDM సాధనం మధ్య తేడా ఏమిటి? లేదా ప్రశ్న పట్టికల ఎంపికను విస్తృతం చేయడం ద్వారా ఇది వేరే ప్రిన్సిపాల్‌పై ఆధారపడుతుందా, అయితే MDM దీన్ని స్వయంచాలకంగా చేస్తుంది, కానీ మెటాడేటాను సేకరించే అంతర్లీన ప్రిన్సిపాల్‌తో. "

డేవిడ్ క్రాఫోర్డ్: అవును, నేను సాంప్రదాయ MDM పరిష్కారాలను చూసినప్పుడు, ప్రాధమిక వ్యత్యాసం తాత్వికమైనదని నేను భావిస్తున్నాను. ఇదంతా యూజర్ ఎవరో. నా ప్రెజెంటేషన్ ప్రారంభంలో నేను చెప్పినట్లుగా, అలేషన్, నేను స్థాపించినప్పుడు, విశ్లేషకులు మరింత అంతర్దృష్టులను ఉత్పత్తి చేయటానికి, వాటిని వేగంగా ఉత్పత్తి చేయడానికి, వారు అంతర్దృష్టులలో మరింత ఖచ్చితమైనదిగా ఉండటానికి ఉద్దేశించిన లక్ష్యంతో మేము స్థాపించబడ్డాము. ఉత్పత్తి. సాంప్రదాయ ఎండిఎం పరిష్కారం యొక్క లక్ష్యం ఇదేనని నేను అనుకోను. ఆ పరిష్కారాలు ఏ రకమైన ఆడిటింగ్ ప్రయోజనం కోసం ఎస్.సి.సికి లేదా అంతర్గతంగా ఏ డేటాను సంగ్రహించాయో నివేదికలను ఉత్పత్తి చేయాల్సిన వ్యక్తులపై లక్ష్యంగా ఉంటాయి. ఇది కొన్నిసార్లు విశ్లేషకులను ప్రారంభించగలదు, కానీ ఇది చాలా తరచుగా, ఇది వారి అభ్యాసంలో ఒక అభ్యాసకుడిని ప్రారంభించబోతున్నట్లయితే, అది DBA వంటి డేటా ఆర్కిటెక్ట్‌ను ప్రారంభించే అవకాశం ఉంది.

మీరు విశ్లేషకుడి దృక్కోణం నుండి విషయాల గురించి ఆలోచించినప్పుడు, మీరు MDM సాధనం ఎప్పటికీ చేయని ప్రశ్న సాధనాన్ని రూపొందించడం ప్రారంభించినప్పుడు. మీరు పనితీరు గురించి మరియు ఖచ్చితత్వం గురించి ఆలోచించడం మొదలుపెట్టినప్పుడు, అలాగే నా వ్యాపార అవసరానికి సంబంధించిన డేటా ఏమిటో అర్థం చేసుకోవడం. ఆ విషయాలన్నీ మనం సాధనాన్ని రూపకల్పన చేసేటప్పుడు మన మనస్సులో పాప్ చేసే విషయాలు. ఇది మా శోధన అల్గారిథమ్‌లలోకి వెళుతుంది, ఇది కేటలాగ్ పేజీల లేఅవుట్‌లోకి వెళుతుంది మరియు సంస్థ చుట్టూ ఉన్న జ్ఞానాన్ని అందించే సామర్థ్యం. ఇది మేము ప్రశ్న సాధనాన్ని నిర్మించాము మరియు కేటలాగ్‌ను దానిలోకి నేరుగా నిర్మించాము, కాబట్టి ఇది నిజంగా దాని నుండి వచ్చినదని నేను భావిస్తున్నాను. మీ మనస్సులో మొదట ఏ యూజర్ ఉన్నారు?

రెబెకా జోజ్వియాక్: సరే, మంచిది. అది నిజంగా వివరించడానికి సహాయపడింది. అతను బయలుదేరవలసి ఉన్నందున ఆర్కైవ్లను పట్టుకోవటానికి ఎవరు చనిపోతున్నారు, కానీ అతను నిజంగా తన ప్రశ్నకు సమాధానం కోరుకున్నాడు. అతను బహుళ భాషలు ఉన్నాయని ప్రారంభంలో ప్రస్తావించబడ్డాడు, కాని కంపోజ్ కాంపోనెంట్‌లో పరపతి ఉన్న ఏకైక భాష SQL మాత్రమేనా?

డేవిడ్ క్రాఫోర్డ్: అవును, అది నిజం. నేను గమనించిన వాటిలో ఒకటి, వివిధ రకాలైన డేటాబేస్, డాక్యుమెంట్ డేటాబేస్, గ్రాఫ్ డేటాబేస్, కీ వాల్యూ స్టోర్స్ యొక్క పేలుడును నేను చూశాను, అవి అప్లికేషన్ అభివృద్ధికి నిజంగా శక్తివంతమైనవి. రిలేషనల్ డేటాబేస్ల కంటే మెరుగైన మార్గాల్లో వారు అక్కడ ప్రత్యేక అవసరాలను తీర్చగలరు.

కానీ మీరు దానిని తిరిగి డేటా విశ్లేషణకు తీసుకువచ్చినప్పుడు, మీరు దానిని తిరిగి తీసుకువచ్చినప్పుడు - మీరు ఆ సమాచారాన్ని తాత్కాలిక రిపోర్టింగ్ లేదా తాత్కాలిక త్రవ్వకం చేయబోయే వ్యక్తులకు అందించాలనుకున్నప్పుడు, వారు ఎల్లప్పుడూ రిలేషనల్‌కు తిరిగి వస్తారు, కనీసం, మానవులకు ఇంటర్ఫేస్. దానిలో కొంత భాగం SQL అనేది డేటా విశ్లేషణ యొక్క భాష, కాబట్టి మానవులకు, ఇది ఏకీకృతం చేసే సాధనాల కోసం కూడా. హడూప్‌లోని SQL చాలా ప్రజాదరణ పొందటానికి ఇది కారణమని నేను భావిస్తున్నాను మరియు దాన్ని పరిష్కరించడానికి చాలా ప్రయత్నాలు ఉన్నాయి, ఎందుకంటే రోజు చివరిలో, ప్రజలకు ఇది తెలుసు. SQL ను ఎలా రాయాలో తెలిసిన మిలియన్ల మంది ప్రజలు బహుశా ఉన్నారు, మరియు మొంగో అగ్రిగేషన్ పైప్‌లైన్ ఫ్రేమ్‌వర్క్ ప్రశ్నను ఎలా రాయాలో తెలిసిన లక్షలాది మందిని నేను వెంచర్ చేయను. మరియు ఇది ప్రామాణిక భాష, ఇది నిజంగా అనేక రకాల ప్లాట్‌ఫారమ్‌లలో ఏకీకరణ కోసం ఉపయోగించబడుతుంది. కాబట్టి చెప్పేది, మేము చాలా అరుదుగా దాని వెలుపల వెళ్ళమని అడిగారు, ఎందుకంటే ఇది చాలా మంది విశ్లేషకులు ఉపయోగించే ఇంటర్ఫేస్, మరియు ఇది మేము SQL ను వ్రాయడంపై దృష్టి కేంద్రీకరించిన ఒక ప్రదేశం, ముఖ్యంగా కంపోజ్లో.

డేటా సైన్స్ వారు చాలా వెలుపల వెంచర్ చేసే ప్రదేశం అని నేను చెప్తాను, కాబట్టి పిగ్ లేదా ఎస్ఎఎస్ ఉపయోగించడం గురించి మాకు అప్పుడప్పుడు ప్రశ్నలు వస్తాయి. ఇవి కంపోజ్‌లో మేము ఖచ్చితంగా నిర్వహించలేనివి మరియు కేటలాగ్‌లో పట్టుకోవాలనుకుంటున్నాము. నేను R మరియు పైథాన్ కూడా చూస్తున్నాను. R మరియు పైథాన్ స్క్రిప్ట్‌ల లోపల అలేషన్‌లో వ్రాసిన ప్రశ్నలను మీరు ఉపయోగించగల ఇంటర్‌ఫేస్‌లను మేము తయారుచేసిన కొన్ని మార్గాలు ఉన్నాయి, కాబట్టి, మీరు డేటా సైంటిస్ట్ అయినప్పుడు మరియు మీరు స్క్రిప్టింగ్ భాషలో పనిచేస్తున్నప్పుడు, మీ మూలం డేటా రిలేషనల్ డేటాబేస్లో ఉంది. మీరు SQL ప్రశ్నతో ప్రారంభించండి, ఆపై మీరు దాన్ని మరింత ప్రాసెస్ చేసి R మరియు పైథాన్ లోపల గ్రాఫ్లను సృష్టించండి. అలేషన్ నుండి ప్రశ్నలను లేదా ప్రశ్న ఫలితాలను లాగే ఆ స్క్రిప్ట్లలోకి మీరు దిగుమతి చేసుకోగల ప్యాకేజీలను మేము తయారు చేసాము, అందువల్ల మీరు అక్కడ మిళితమైన వర్క్ఫ్లో ఉండవచ్చు.

రెబెకా జోజ్వియాక్: సరే, చాలా బాగుంది. నేను గంట పైభాగంలో కొంచెం పరిగెత్తినట్లు నాకు తెలుసు, నేను ఒకటి లేదా రెండు ప్రశ్నలు అడగబోతున్నాను. మీరు కనెక్ట్ చేయగల అన్ని విభిన్న వ్యవస్థల గురించి మీరు మాట్లాడినట్లు నాకు తెలుసు, కానీ బాహ్యంగా హోస్ట్ చేయబడిన డేటా మరియు అంతర్గతంగా హోస్ట్ చేయబడిన డేటా వరకు, మీ ఒకే వీక్షణలో, మీ ఒకే ప్లాట్‌ఫారమ్‌లో కలిసి శోధించవచ్చా?

డేవిడ్ క్రాఫోర్డ్: ఖచ్చితంగా. అలా చేయడానికి కొన్ని మార్గాలు ఉన్నాయి. నా ఉద్దేశ్యం, బాహ్యంగా హోస్ట్ చేయబడింది, నేను would హించుకుంటాను, దాని అర్థం గురించి ఖచ్చితంగా ఆలోచించటానికి ప్రయత్నిస్తున్నాను. మీ కోసం ఎవరో AWS లో హోస్ట్ చేస్తున్న డేటాబేస్ దీని అర్థం. ఇది data.gov నుండి పబ్లిక్ డేటా సోర్స్ అని అర్ధం. డేటాబేస్ ఖాతాతో మరొక అప్లికేషన్ లాగా లాగిన్ అవ్వడం ద్వారా మేము నేరుగా డేటాబేస్ లకు కనెక్ట్ అవుతాము మరియు మేము మెటాడేటాను ఎలా సంగ్రహిస్తాము. కాబట్టి మనకు ఖాతా ఉంటే మరియు మనకు నెట్‌వర్క్ పోర్ట్ తెరిచి ఉంటే, మేము దానిని పొందవచ్చు. ఆపై మనకు ఆ విషయాలు లేనప్పుడు, మనకు వర్చువల్ డేటా సోర్స్ అని పిలుస్తారు, ఇది స్వయంచాలకంగా, మీ స్వంత కనెక్టర్‌ను వ్రాయడం ద్వారా లేదా CSV అప్‌లోడ్ లాగా చేయడం ద్వారా నింపడం ద్వారా తప్పనిసరిగా డాక్యుమెంటేషన్‌ను నెట్టడానికి మిమ్మల్ని అనుమతిస్తుంది. మీ అంతర్గత డేటాతో పాటు డేటాను డాక్యుమెంట్ చేయడానికి. అన్నీ సెర్చ్ ఇంజిన్‌లో ఉంచబడతాయి. ఇది వ్యవస్థలోని వ్యాసాలు మరియు ఇతర డాక్యుమెంటేషన్ మరియు సంభాషణల లోపల సూచించదగినదిగా మారుతుంది. కాబట్టి మనం సిస్టమ్‌కి నేరుగా కనెక్ట్ కానప్పుడు మేము ఎలా నిర్వహిస్తాము.

రెబెకా జోజ్వియాక్: సరే, అది అర్ధమే. నేను మీకు మరో ప్రశ్న వేస్తాను. ఒక హాజరైన "డేటా కేటలాగ్ యొక్క కంటెంట్ ఎలా ధృవీకరించబడాలి, ధృవీకరించబడాలి లేదా నిర్వహించాలి, సోర్స్ డేటా నవీకరించబడినప్పుడు, సోర్స్ డేటా సవరించబడినది మొదలైనవి."

డేవిడ్ క్రాఫోర్డ్: అవును, ఇది మనకు చాలా ప్రశ్న, మరియు మనం చెప్పే వాటిలో ఒకటి - మన తత్వాలలో ఒకటి, నేను చెప్పినట్లుగా, వినియోగదారులు హానికరమని మేము నమ్మము. వారు ఉత్తమ జ్ఞానాన్ని అందించడానికి ప్రయత్నిస్తున్నారని మేము అనుకుంటాము. వారు లోపలికి వచ్చి డేటా గురించి ప్రజలను ఉద్దేశపూర్వకంగా తప్పుదారి పట్టించడం లేదు. మీ సంస్థలో ఇది సమస్య అయితే, అలేషన్ మీకు సరైన సాధనం కాకపోవచ్చు. మీరు వినియోగదారులచే మంచి ఉద్దేశాలను If హిస్తే, మేము దాని గురించి ఎక్కడ, నవీకరణలు వస్తాయో అని ఆలోచిస్తాము, ఆపై సాధారణంగా మనం చేసేది ఏమిటంటే, మేము ప్రతి డేటా ఆబ్జెక్ట్ లేదా డేటా యొక్క ప్రతి విభాగానికి బాధ్యత వహిస్తాము. మెటాడేటాలో మార్పులు చేసినప్పుడు మేము ఆ స్టీవార్డులకు తెలియజేయవచ్చు మరియు వారు దానిని ఆ విధంగా నిర్వహించగలరు. నవీకరణలు వస్తాయని వారు చూస్తారు, వారు వాటిని ధృవీకరిస్తారు. వారు సరిగ్గా లేకుంటే, వారు తిరిగి వెళ్లి వాటిని సవరించవచ్చు మరియు తెలియజేయవచ్చు మరియు ఆశాజనక సమాచారం అందించిన వినియోగదారుని కూడా చేరుకోవచ్చు మరియు వారికి తెలుసుకోవడానికి సహాయపడుతుంది.

కనుక ఇది చేయడం గురించి మనం ఆలోచించే ప్రాథమిక మార్గం. ప్రేక్షకులు మరియు నిర్వహణ ద్వారా ఈ విధమైన సూచన, మరియు మాకు దాని చుట్టూ కొన్ని సామర్థ్యాలు ఉన్నాయి.

రెబెకా జోజ్వియాక్: సరే, మంచిది. మరియు మీరు అలేషన్‌తో ఎలా ఉత్తమంగా ప్రారంభించవచ్చో వారికి తెలియజేయగలిగితే, మరియు మరింత సమాచారం పొందడానికి వారు ప్రత్యేకంగా ఎక్కడికి వెళ్ళగలరు. మీరు దానిని పంచుకున్నారని నాకు తెలుసు. అది ఉత్తమమైన ప్రదేశమా?

డేవిడ్ క్రాఫోర్డ్: Alation.com/learnmore నేను వెళ్ళడానికి గొప్ప మార్గం అని అనుకుంటున్నాను. డెమో కోసం సైన్ అప్ అవ్వడానికి Alation.com సైట్ చాలా గొప్ప వనరులు, కస్టమర్ శ్వేతపత్రాలు మరియు మా పరిష్కారం గురించి వార్తలను కలిగి ఉంది. కాబట్టి ఇది ప్రారంభించడానికి గొప్ప ప్రదేశం అని నేను అనుకుంటున్నాను. మీరు కూడా ఇమెయిల్ చేయవచ్చు.

రెబెకా జోజ్వియాక్: సరే, చాలా బాగుంది. నాకు తెలుసు, హాజరైనవారు, నేను ఈ రోజు అన్ని ప్రశ్నలకు రాకపోతే క్షమించండి, కాకపోతే, వారు డేవిడ్ లేదా అతని అమ్మకపు బృందానికి లేదా అలేషన్‌లోని ఎవరికైనా పంపబడతారు, కాబట్టి వారు మీ ప్రశ్నలకు సమాధానం ఇవ్వడానికి మరియు అర్థం చేసుకోవడానికి సహాయపడగలరు అలేషన్ ఏమి చేస్తుంది లేదా వారు ఉత్తమంగా ఏమి చేస్తారు.

మరియు దానితో, చేసారో, నేను ముందుకు వెళ్లి మమ్మల్ని సంతకం చేస్తాను. InsideAnalysis.com లో మీరు ఎల్లప్పుడూ ఆర్కైవ్‌లను కనుగొనవచ్చు. మీరు దీన్ని Techopedia.com లో కూడా కనుగొనవచ్చు. వారు కొంచెం వేగంగా అప్‌డేట్ అవుతారు, కాబట్టి ఖచ్చితంగా దాన్ని తనిఖీ చేయండి. ఈ రోజు డేవిడ్ క్రాఫోర్డ్, డెజ్ బ్లాంచ్ఫీల్డ్ మరియు రాబిన్ బూర్ లకు చాలా ధన్యవాదాలు. ఇది గొప్ప వెబ్‌కాస్ట్. మరియు దానితో, నేను మీకు వీడ్కోలు పలకను. ధన్యవాదాలు, చేసారో. వీడ్కోలు.

డేవిడ్ క్రాఫోర్డ్: ధన్యవాదాలు.