To zależy. Każda z tych metod ma swoje zastosowanie:
Plik robots.txt: użyj go, jeśli indeksowanie treści powoduje problemy na serwerze. Możesz na przykład zabronić indeksowania skryptów nieograniczonego kalendarza. Nie używaj pliku robots.txt do blokowania treści prywatnych (zamiast tego zastosuj uwierzytelnianie po stronie serwera) ani do wyboru strony kanonicznej.
Jeśli chcesz, aby adres URL nie był indeksowany, zamiast tego użyj tagu meta robots lub nagłówka HTTP X-Robots-Tag.
Tag meta robots: użyj go, jeśli chcesz kontrolować, jak poszczególne strony HTML wyświetlają się w wynikach wyszukiwania (lub aby mieć pewność, że nie będą się one tam pojawiać).
Nagłówek HTTP X-Robots-Tag: użyj go, jeśli chcesz kontrolować, jak treści inne niż HTML wyświetlają się w wynikach wyszukiwania lub aby mieć pewność, że nie będą się one tam pojawiać.