Plik robots.txt służy głównie do wykluczania niechcianych przez twórców strony treści z wyszukiwarek. Jeżeli strona ma skomplikowany system administracyjny, logowanie dla klientów albo tego typu podstrony których nie chciałaby pokazywać w wynikach wyszukiwarek stosuje się plik robots.txt do takich wykluczeń. Jeżeli jest mała strona na której nic nie trzeba wykluczać nie ma sensu stosować pliku robots.txt taki plik jest zbędny i nie ma wpływu na wyniki pozycjonowania.