Xenforo Standart Robots. txt Dosyası Nasıl Olmalı? Bildiğiniz uzere robots. xt dosyası botlara sınırlama getirmenizi sağlıyor Xenforo da standart robots. txt dosyası aşağıdaki şekilde olmalıdır. Siz kendi gereksinimlerinize gore ekleme veya cıkarmalar yapabilirsiniz Kod: User agent: Yandex Crawl delay: 2 User agent: Mediapartners Google Disallow: User agent: Baiduspider Disallow: / User agent: Baiduspider video Disallow: / User agent: Baiduspider image Disallow: / User agent: Disallow: /admin. php Disallow: /account/ Disallow: /attachments/ Disallow: /conversations/ Disallow: /find new/ Disallow: /goto/ Disallow: /login/ Disallow: /register/ Disallow: /search/ Allow: / Sitemap: http://www.siteadresi.com/sitemap. php