robots.txt 파일이 HTTPS 버전의 HTTPS 파일을 가리키도록 업데이트하는 것이 좋습니다. 또한 사이트맵에는 HTTPS URL만 나열하는 것이 좋습니다.
사이트의 각 URL을 HTTP에서 HTTPS로 리디렉션하는 경우에도 크롤러에 액세스할 수 있는 robots.txt 파일은 하나뿐입니다. 예를 들어 http://example.com/robots.txt가 https://example.com/robots.txt로 리디렉션되는 경우 HTTP 버전의 콘텐츠는 Google 및 다른 검색엔진에 표시되지 않습니다.