Spider

spider एक software program है, जो web की travel करता है (इसलिए इसका नाम “spider” बना), Search engine के लिए website का पता लगाने और indexed करता है। सभी प्रमुख search engine, जैसे कि Google और Yahoo!, अपनी index और update करने के लिए spider का उपयोग करते हैं। ये प्रोग्राम एक Hyperlink से दूसरे hyperlink की यात्रा करते हुए लगातार वेब ब्राउज़ करते हैं।

उदाहरण के लिए, जब कोई spider किसी वेबसाइट के Home page पर जाती है, तो page पर 30 Link हो सकते हैं। spider प्रत्येक लिंक का follow करेगी, search engine की index किये जाने वाले सभी पृष्ठों को जोड़ देगी। बेशक, spider को मिलने वाले नए page में link भी हो सकते हैं, जिनका पालन spider जारी रखती है। इनमें से कुछ लिंक एक ही वेबसाइट (internal link) के page को point कर सकते हैं, जबकि अन्य विभिन्न साइटों (external link) पर ले जा सकते हैं। बाहरी लिंक स्पाइडर को नई साइटों पर jump करने के कारण बनेंगे, और भी अधिक page को index करेंगे।

वेबसाइट लिंक की interwoven प्रकृति के कारण, spider अक्सर उन वेबसाइटों पर लौट आती हैं, जिन्हें पहले ही index किया जा चुका है। यह search engine को यह track रखने की अनुमति देता है कि प्रत्येक page से कितने external pages link होते हैं। आमतौर पर, किसी page में जितने अधिक आने वाले लिंक होंगे, उसे search engine result में उतना ही ऊंचा स्थान दिया जाएगा। स्पाइडर न केवल नए page ढूंढते हैं और लिंक का ट्रैक रखते हैं, वे प्रत्येक page में परिवर्तनों को भी ट्रैक करते हैं, जिससे search engine index को update रहने में मदद मिलती है।

spider को robot और crawler भी कहा जाता है, जो उन लोगों के लिए बेहतर हो सकता है जो arachnids के शौकीन नहीं हैं। शब्द “स्पाइडर” को एक क्रिया के रूप में भी इस्तेमाल किया जा सकता है, जैसे “उस सर्च इंजन ने आखिरकार पिछले हफ्ते मेरी वेबसाइट पर कब्जा कर लिया।”