Sin embargo, sus enfrentamientos con el presidente del Gobierno, Adolfo Suárez, y el hecho de que enviase cartas con el sello de la Casa Real pidiendo el voto para Alianza Popular en las elecciones de 1977 hicieron que fuese relevado.