Durante la Guerra Civil Española, sirvió de cuartel y sede de la Falange, y tanto en 1943 como en 1956 el edificio sufrió diversas reparaciones con la intención de convertirlo en residencia del obispo.