Tras la victoria de Manuel Fraga, después de obtener los peores resultados en toda la historia como candidato del PSOE, Caballero decidió alejarse de la escena política, aunque fue durante cuatro años parlamentario autonómico en la oposición en el Parlamento de Galicia hasta la constitución de la VI legislatura tras las elecciones autonómicas de 2001.