Xenforo icin onerilen robots. txt XenForo icin orne Robots. txt Dosyası ve bilinmesi gerekenler Robots. txt dosyaları hakkında bilgi edinme. robots. txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gosteren ve sitenizin kok dizininde bulunan bir dosyadır. Dosya, kucuk bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır. Nasıl Kullanılır? Forum ana dizinine eklenecek olan robot. txt isimli bir dosya ile basitce forumunuza bir Robot dosyası acabilir, Eleyebilirsiniz. Robot. txt Komut anlamları User agent: ilgili botun adını belirler User agent: DeepCrawl #Burada boot adı DeepCrawl User agent: # Tum borları kapsaması anlamına gelir. Crawl delay: Verilerin cekilmesi icin zaman aralığı belirler. Crawl delay: 20 #Bu alanda ilgili bota 20 saniye aralıklar ile veri cekim komutu verilmiştir. Request rate: Verilerin cekimini oranlılar. Request rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri ceker Request rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri ceker Visit time: Ziyaret zamanlarını belirler Visit time: 0800 1045 # saat 08.00 ile 10.45 Saatleri arasında ziyaret talep edilmiştir. Allow: Verilerin cekmek icin izin verir. Allow: /dosya/senindosyan.html #Bu dosyadan, sayfadan verilerin cekilmesine izin verilmiştir. Allow: /dosya #Adı gecen dosya ve icerisindeki tum verilerin cekilmesine izin verilmiştir. Disallow: Verilerin cekilmesini engeller. Disallow:/dosya/senindosyan.html #Bu dosyadan, sayfadan veri cekilmesi engellenmiştir. Disallow:/dosya/ #Bu dosyadan, sayfadan ve icerisindeki tum dosya, sayfalardan veri cekilmesi engellenmiştir. XenForo icin Robot. txt Dosyası nasıl olmalıdır? Kod: # robots. txt https://www.mehmetozcan.org/forum # Mehmet Ozcan Forum User agent: Mediapartners Google Disallow: User agent: Disallow: /forum/find new/ Disallow: /forum/account/ Disallow: /forum/attachments/ Disallow: /forum/goto/ Disallow: /forum/register/ Disallow: /forum/posts/ Disallow: /forum/login/ Disallow: /forum/admin. php Disallow: /forum/ajax/ Disallow: /forum/misc/contact/ Disallow: /forum/data/ Disallow: /forum/conversations/ Disallow: /forum/events/birthdays/ Disallow: /forum/events/monthly/ Disallow: /forum/events/weekly/ Disallow: /forum/find new/ Disallow: /forum/help/ Disallow: /forum/internaldata/ Disallow: /forum/js/ Disallow: /forum/library/ Disallow: /forum/search/ Disallow: /forum/styles/ Disallow: /forum/login/ Disallow: /forum/lost password/ Disallow: /forum/online/ Allow: / Sitemap: https://www.mehmetozcan.org/forum/sitemap. php