Für kleinere Websites mag dies noch nicht besonders relevant sein. In der Regel wird das Crawling-Management jedoch relevant, wenn auf Ihrer Website Filter oder allgemeine Parameter-URLs vorhanden sind. Ein weiterer Indikator ist, wenn Sie das Gefühl haben, dass Ihre neu erstellten Inhalte erst nach Tagen oder Wochen in den Suchmaschinen indexiert werden.