En 1966 cesó la actividad del penal, y a partir de entonces el edificio fue víctima del pillaje y el vandalismo hasta que el Ministerio de Educación intervino en 1972, procediendo a la afectación del usufructo del castillo ante el progresivo deterioro que estaba sufriendo tras el cese de la prisión.