La respuesta corta es sí. Google evalúa cada url con las reglas establecidas en el robots.txt de nuestro site para determinar si puede o no puede acceder a cada una de las urls que rastrea. No accede al robots.txt cada vez que rastrea una URL, sino que usa la última versión que tiene guardada del robots.txt.