Chúng tôi tham chiếu đến sơ đồ trang web HTTP trong tệp robots.txt. Chúng tôi có nên cập nhật tệp robots.txt đó để bổ sung sơ đồ trang web HTTPS mới không?
Bạn nên cập nhật tệp robots.txt để trỏ tới phiên bản HTTPS của tệp sơ đồ trang web. Bạn cũng chỉ nên liệt kê các URL loại HTTPS trong sơ đồ trang web.
Hãy nhớ rằng nếu bạn chuyển hướng từng URL trên trang web từ HTTP sang HTTPS, bạn sẽ vẫn chỉ có một tệp robots.txt mà trình thu thập dữ liệu truy cập vào được. Ví dụ: Nếu http://example.com/robots.txt chuyển hướng đến https://example.com/robots.txt, thì Google và các công cụ tìm kiếm khác sẽ không xem được nội dung của phiên bản HTTP.