Több néven is találkozhatunk velük, crawler, bot, spider, search engine robot, pók.
A keresőrobotok olyan speciális programok, amelyek folyamatosan járják a weboldalakat és gyűjtik az adatokat a keresőoldalak számára. A robotok linkeken keresztül közlekednek, weboldalról weboldalra linkről linkre. A linkeken keresztül vagy a Google Search Console adatain (bejelentés, webhelytérkép) keresztül, elér a keresőrobot a weboldalunkra, és a belső link hálózat segítségével elkezdi feltérképezni az oldalt, és feldolgozza.