कोई भी Robots.txt फ़ाइल हमेशा Text Format में होती है।  Robots.txt फ़ाइल क्या है हिन्दी में अब आप जान गए होंगे। हालांकि सभी वेबसाइट को इसकी जरूरत नहीं होती लेकिन इसे बना लेने से हमें SEO में फायदा होता है। इससे साइट पर Crawl Requests की ओवरलोडिंग को भी बढ़ाने से रोका जा सकता है।