Según cuenta Antonio Adámez, hacia 1898 parece que se empleó a un matrimonio para cuidar la fortaleza, que viviría en el Palacio hasta 1936, fecha en la que serían desalojados para ser utilizadas algunas de sus dependencias como cárcel durante la Guerra Civil.