Arkadaşlar merhaba. robots. txt dosyası hala geçerliliğini koruyor mu? Siteme atsam faydası olur mu? Sitemin tüm botlar tarafıdan ziyaret edilmesini ve hiç bir kısıtlama olmamasını istiyorum. Nasıl bir robots dosyası olusturmalıyım? Ayrıca sitemap eklemek gerekir mi? 4.2.3 versiyon vbulletin sitemiz var.

User-Agent: Disallow: Sitemap: http://siteadresim.com/sitemap/vbull... forum_1. xml. gzYeterli beyefendi fazlasıyla.

Hocam sitemap ekleyeceğim, hiçbir engelleme yapmayacağım robots. txt nasıl olmalı. Bir notepad dosyası olusturup adını robots. txt yapıp sonra içine User-Agent: Disallow: Sitemap: http://siteadresim.com/sitemap/vbulletin_sitemap_forum_1. xml. gz şeklinde eklemem yeterli mi

Merhabalar;Robot txt dosyanız yoksa da siteniz Google tarafından index alır. Tüm her kısım taranır. Robot dosyanızı oluşturursanız taranmak istemediğiniz kısımları ekleyebilirsiniz. Ancak robot dosyanızın içine sitemap url adresinizi eklemenizi öneririm.