Come inserire un commento nel robots.txt?
I commenti in un file robots.txt si possono inserire con un # come primo carattere della riga:
# Come se fosse antani
Ad oggi non esiste una sintassi unificata per il robots.txt, per cui non tutti gli user-agent sono in grado di riconoscere ogni direttiva.