El crawleo o rastreo es el proceso por el cual se detecta y analiza el contenido de diversas páginas web de internet de forma automatizada a través de un robot. En el caso de Google inspeccionan el contenido de las páginas en cuestión, y los enlaces que estas tienen, tanto internos como externos. El crawleo lo puede realizar cualquier otro buscador o herramienta privada de análisis web (como por ejemplo Screaming Frog).