Nein. Richtig ist: Es sollten alle Deine wichtigen und relevanten Seiten im Index sein, die ein Suchinteresse von Nutzer:innen erfüllen. Seiten, die diese Voraussetzung nicht erfüllen, sollten auch nicht im Google-Index sein. Dazu zählen zum Beispiel Seiten mit identischem Inhalt, aber auch Seiten, die zu Nutzeraccounts gehören und nur nach einem Login erreichbar sind.
In den wenigsten Fällen – zum Beispiel bei sehr kleinen Webseiten – indexiert Google alle URLs einer Domain. Im Schnitt liegt die Indexierungs-Rate zwischen 30 und 60 Prozent, das erklärte John Mueller in den Google Search Central SEO Office Hours vom 19. November 2021.
Richtig ist aber auch: Je größer Deine Webseite, desto größer die Bedeutung der Indexierungssteuerung. Steuerung bedeutet, dass Du Google konkret mitteilst, welche Seiten einen Platz im Index verdienen – und vor allem: welche nicht.
Muss sich der Crawler erst durch Hunderttausende unwichtige URLs arbeiten, bis er zu den wichtigen Seiten kommt, ist Dein Crawlbudget schnell aufgebraucht und relevante Seiten bleiben unentdeckt – und damit ohne Chance auf Indexierung.
Crawling- und Indexierungs-Steuerung hängen eng zusammen:
Welche Seiten Du nicht indexieren lassen solltest und welche Möglichkeiten Du in Sachen Indexierungssteuerung hast, erklärt Die mein SEO-Kollege Felix ausführlich in seinem Blogpost.
Was Du über Crawling-Steuerung wissen solltest, liest Du im Blogpost meines SEO-Kollegen Felix L.