Est-ce que tous les moteurs de recherche respectent le fichier robots.txt de la même manière ?
Non, chaque moteur a ses propres algorithmes. Par exemple, pour Bing, vous pourriez utiliser "User-agent: bingbot", tandis que pour Yahoo, ce serait "User-agent: Yahoo! Slurp".