Desaparecidos los Suárez de Figueroa, el palacio sufre una larga decadencia siendo dedicado a distintas funciones (cuartel, prisión, hospital, sede de algunos servicios oficiales, colegio, instituto de bachillerato, escuela de arte y oficios), hasta que en 1965 comienzan las obras para transformarlo en Parador de Turismo.