Bis September 2019 konnte man über die robots.txt eine Seite aus den Suchergebnissen ausschließen, indem man eine Noindex-Angabe in die robots.txt schrieb. Nach neuem Standard von Google ist die Angabe von Noindex in der robots.txt ist allerdings nicht mehr erlaubt, bzw. wird von Google nicht mehr berücksichtigt. Das heißt, folgende Anweisung:
User-agent: *
noindex: /meine-noindex-url.html
ist keine valide Anweisung mehr. Die entsprechende auf Noindex gesetzte Seite wird trotzdem ganz normal untersucht und in den Google Index aufgenommen.
Wer eine Seite tatsächlich aus den Google Suchergebnissen (und auch aus den Suchergebnissen von anderen Suchmaschinen wie Bing) nicht auflisten möchte, muss also weiterhin einen Meta Tag robots mit Noindex auf einer gewünschten Unterseite einbauen und die URLs dürfen nicht von Suchmaschinen durch die robots.txt ausgeschlossen werden, damit Suchmaschinen die URL überprüfen und die Noindex-Angabe sehen können.