Meglio usare robots.txt oppure .htaccess?
Non bisogna fare confusione tra le indicazioni che vengono date al robots.txt (che sono in genere facoltative da seguire per i motori) e quelle di un file di direttive come ad esempio .htaccess (che sono direttive obbligatorie per tutti). Le seconde, in genere, sovrastano tecnologicamente le prime, nel senso che hanno sempre la precedenza a parità  di condizioni espresse. Se ad esempio in un file robots.txt lasciamo tutto scansionabile:
User-agent: *
Disallow:
ma poi esiste un blocco per la home del sito che richieda username e password, il sito non sarà  scansionabile nè indicizzabile.
Nel contesto di server Apache, ad esempio, il file .htaccess da' delle direttive che il server è obbligato ad eseguire, e che valgono per motori di ricerca, bot e utenti. Il file robots.txt è invece un file che indica dei "suggerimenti" per i crawler in modo da facilitarne il lavoro (e come molte cose cose "in buonafede", in molti casi ha un'utilità  ed una portata limitate).