हमारा सुझाव है कि आप अपनी robots.txt फ़ाइल को इस तरह अपडेट करें, ताकि वह आपकी साइटमैप फ़ाइलों के एचटीटीपीएस वर्शन पर ही ले जाए. साथ ही, हमारा सुझाव है कि आप अपने साइटमैप में सिर्फ़ एचटीटीपीएस यूआरएल शामिल करें.
ध्यान रखें कि अगर आपकी साइट के हर यूआरएल को एचटीटीपी से एचटीटीपीएस पर रीडायरेक्ट किया जाता है, तब भी क्रॉलर के पास आपकी सिर्फ़ एक robots.txt फ़ाइल का ऐक्सेस होगा. उदाहरण के लिए, अगर http://example.com/robots.txt, https://example.com/robots.txt पर रीडायरेक्ट करता है, तो एचटीटीपी वर्शन का कॉन्टेंट, Google और अन्य सर्च इंजन को नहीं दिखेगा.