విషయ సూచిక:
నిర్వచనం - స్పైడర్ అంటే ఏమిటి?
ఇంటర్నెట్ సందర్భంలో, స్పైడర్ అనేది ఒక ప్రత్యేకమైన సాఫ్ట్‌వేర్, ఇది వినియోగదారు శోధన ప్రశ్నల కోసం శోధన ఫలితాల వలె వెబ్ పేజీలను ఇండెక్స్ చేసే ఉద్దేశ్యంతో సాధారణంగా వరల్డ్ వైడ్ వెబ్‌ను క్రమపద్ధతిలో క్రాల్ చేయడానికి మరియు బ్రౌజ్ చేయడానికి రూపొందించబడింది. అటువంటి సాలెపురుగులలో అత్యంత ప్రసిద్ధమైనది గూగుల్ యొక్క ప్రధాన క్రాలర్ అయిన గూగుల్ బాట్, ఇది శోధన ప్రశ్నల కోసం సంబంధిత ఫలితాలు తిరిగి వచ్చేలా చూడటానికి సహాయపడుతుంది.
సాలెపురుగులను వెబ్ క్రాలర్లు, సెర్చ్ బాట్లు లేదా కేవలం బాట్లు అని కూడా పిలుస్తారు.
టెకోపీడియా స్పైడర్ గురించి వివరిస్తుంది
స్పైడర్ తప్పనిసరిగా వరల్డ్ వైడ్ వెబ్ నుండి సమాచారాన్ని సేకరించడానికి ఉపయోగించే ప్రోగ్రామ్. ఇది వెబ్‌సైట్ల పేజీల ద్వారా సమాచారాన్ని సంగ్రహిస్తుంది మరియు తరువాత ఉపయోగం కోసం ఇండెక్స్ చేస్తుంది, సాధారణంగా సెర్చ్ ఇంజన్ ఫలితాల కోసం. సాలెపురుగు వెబ్‌సైట్‌లను మరియు వాటి పేజీలను పేజీలకు మరియు వాటి నుండి వివిధ లింక్‌ల ద్వారా సందర్శిస్తుంది, కాబట్టి ఒకే లింక్ లేని పేజీ సూచికకు కష్టమవుతుంది మరియు శోధన ఫలితాల పేజీలో చాలా తక్కువ స్థానంలో ఉండవచ్చు. మరియు ఒక పేజీకి సూచించే లింక్‌లు చాలా ఉంటే, దీని అర్థం పేజీ ప్రజాదరణ పొందింది మరియు ఇది శోధన ఫలితాల్లో ఎక్కువగా కనిపిస్తుంది.
వెబ్ క్రాల్‌లో పాల్గొన్న దశలు:
- సాలీడు ఒక సైట్‌ను కనుగొని దాని పేజీలను క్రాల్ చేయడం ప్రారంభిస్తుంది.
- స్పైడర్ సైట్ యొక్క పదాలు మరియు విషయాలను సూచిస్తుంది.
- సాలీడు సైట్‌లో కనిపించే లింక్‌లను సందర్శిస్తుంది.
సాలెపురుగులు లేదా వెబ్‌క్రాలర్లు కేవలం ప్రోగ్రామ్‌లు మరియు అవి ప్రోగ్రామర్లు నిర్దేశించిన క్రమబద్ధమైన నియమాలను అనుసరిస్తాయి. వెబ్‌సైట్ల యజమానులు స్పైడర్‌కు సైట్ యొక్క ఏ భాగాలను సూచికకు మరియు ఏది చేయకూడదో చెప్పడం ద్వారా దీన్ని పొందవచ్చు. "Robots.txt" ఫైల్‌ను సృష్టించడం ద్వారా ఇది జరుగుతుంది, ఇది స్పైడర్‌కు సూచికలను ఏ భాగాలు మరియు అనుసరించాల్సిన లింక్‌లు మరియు ఏవి విస్మరించాలి అనే దానిపై సూచనలను కలిగి ఉంటుంది. అక్కడ చాలా ముఖ్యమైన సాలెపురుగులు గూగుల్, బింగ్ మరియు యాహూ వంటి ప్రధాన సెర్చ్ ఇంజన్ల యాజమాన్యంలో ఉన్నాయి మరియు డేటా మైనింగ్ మరియు పరిశోధన కోసం ఉద్దేశించినవి, అయితే కొన్ని హానికరమైన సాలెపురుగులు కూడా ఉన్నాయి. లేదా వెబ్ భద్రతలో లోపాలను కనుగొనడం.
