ro bots.txt ( ) के प्रयोग से निवारण किया जा सकता है प्रत्येक पन्नों के सामग्री का विश्लेषण से निर्धारित किया जा सकता है कैसे इसे अनुक्रमित ( ) किया जाए ( उदहारणस्वरुप , शीर्षकों , विषयवाचक , या विशेष क्षेत्र जिसे मेटा टैग ( ) कहते हैं , से शब्द जुडा होता है ) बाद के पूछ ताछ के लिए वेब पन्नों के बारें में आधार सामग्री आंकडासंचय सूचकांक में संगृहीत है कुछ खोज मशीने जैसे गूगल स्रोत पन्नों के कुछ अंश या पुरा भाग ( केच ( ) के रूप में ) और साथ ही साथ वेब पन्नों के बारे में जानकारी स्टोर कर लेता है जबकि अन्य जैसे अल्ताविस्ता ( ) प्रत्येक पन्नों के प्रत्येक शब्द जो भी पातें हैं उसे संगृहीत कर लेते हैं ।
Entity: अल्ताविस्ता — Type: /website