Warum ist meine Seite indexiert, obwohl ich das verboten habe?
Manchmal kommt es vor, dass Seiten indexiert sind, obwohl sie eigentlich via robots.txt vom Crawling ausgeschlossen sind. Das ist dann der Fall, wenn eine Seite bereits im Google-Index ist und Du sie erst danach in der robots.txt ausschließt. Nun kann Google nicht mehr crawlen, denn das hast Du ja verboten – dennoch sind die Seiten im Index.
Du kannst diese Kollision vermeiden, indem Du vor dem Ausschluss bestimmter URLs überprüfst, ob diese Seiten schon indexiert sind. Wenn ja, solltest Du hinterfragen, aus welchen Gründen sie indexiert sind und ausschließen, dass sie inhaltliche Relevanz haben.
Trotz Sperrung indexierte URLs sind meist kein kritisches Problem: Mit der Zeit begreift Google, worum es Dir geht – und die URLs verschwinden aus dem Index.