A robots.txt fájl tájékoztatja a keresőmotorok feltérképező robotjait, hogy melyek azok az oldalak és fájlok, amelyeket lekérhetnek webhelyéről, vagy melyek azok, amelyeket nem.
A robots.txt fájt az adminisztrációs rendszerből tudja szerkeszteni!