A partir de este momento comenzó el desmembramiento del Castillo por parte de sus herederos, conservándose a principios del siglo XX solo ciertos objetos como dos monumentales chimeneas o una torre de vigilancia.