Istnieje szereg błędów, które mogą wpłynąć na plik robots.txt, tak samo, jak niektóre ostrzeżenia dotyczące „najlepszych praktyk”, które mogą pojawić się podczas sprawdzania pliku. Są to rzeczy, które mogą wpłynąć na Twoje SEO i powinny zostać naprawione. Ostrzeżenia są mniej ważne i służą jako porady dotyczące ulepszania pliku robots.txt.
Błędy, które możesz zobaczyć, obejmują:
Nieprawidłowy adres URL – ten błąd będzie widoczny, jeśli całkowicie brakuje pliku robots.txt.
Potencjalny błąd wieloznaczny – Chociaż technicznie jest to raczej ostrzeżenie niż błąd, zazwyczaj pojawia się ten komunikat, ponieważ zazwyczaj plik robots.txt zawiera symbol wieloznaczny (*) w polu Disallow (np. Disallow: /*.rss). Jest to problem dotyczący najlepszych praktyk – Google zezwala na stosowanie symboli wieloznacznych w polu Disallow, ale nie jest to zalecana praktyka.
Ogólne i określone programy klienckie w tym samym bloku kodu – jest to błąd składniowy w pliku robots.txt i należy go poprawić, aby uniknąć problemów z indeksowaniem witryny.
Ostrzeżenia, które możesz zobaczyć obejmują:
Zezwól: / – Użycie polecenia „Zezwól” nie zaszkodzi Twojemu rankingowi ani nie wpłynie na Twoją witrynę, ale nie jest to standardowa praktyka. Główne roboty, w tym Google i Bing, zaakceptują tę dyrektywę, ale nie wszystkie roboty to zrobią – i ogólnie mówiąc, najlepiej jest, aby plik robots.txt był zgodny ze wszystkimi robotami, nie tylko głównymi.
Wielkie litery – chociaż nazwy pól niekoniecznie uwzględniają wielkość liter, niektóre roboty mogą wymagać wielkich liter, dlatego dobrym pomysłem jest używanie wielkich liter w nazwach klientów.
Obsługa map witryn – wiele plików robots.txt zawiera szczegółowe informacje o mapie witryny, ale nie jest to uważane za najlepszą praktykę. Zarówno Google, jak i Bing obsługują tę funkcję.