Es empfiehlt sich, die robots.txt-Datei so zu aktualisieren, dass sie auf die HTTPS-Version deiner Sitemap-Dateien verweist. Darüber hinaus sollte nur die HTTPS-URLs in deiner Sitemap angegeben werden.
Wenn du die einzelnen URLs deiner Website von HTTP zu HTTPS weiterleitest, ist dennoch nur eine robots.txt-Datei für Crawler zugänglich. Wenn beispielsweise http://example.com/robots.txt zu https://example.com/robots.txt weitergeleitet wird, sind die Inhalte der HTTP-Version nicht für Google und andere Suchmaschinen sichtbar.