Taramaya izin vermek için allow kuralını eklemem gerekir mi?
Hayır, allow kuralını eklemenize gerek yoktur. Aksi yönde kural belirtilmediği sürece tüm URL'lerin taranmasına izin verilir. allow kuralı, aynı robots.txt dosyasındaki disallow kurallarını geçersiz kılmak için kullanılır.