Sebaiknya perbarui file robots.txt agar mengarah ke versi HTTPS
file peta situs Anda. Sebaiknya hanya cantumkan URL HTTPS di peta situs Anda.
Perlu diingat bahwa jika Anda mengalihkan setiap URL di situs dari HTTP ke HTTPS,
Anda hanya akan memiliki satu file robots.txt yang dapat diakses oleh crawler. Misalnya,
jika http://example.com/robots.txt dialihkan ke
https://example.com/robots.txt, konten versi HTTP
tidak akan terlihat oleh Google dan mesin telusur lainnya.