En 1864 se produce la Desamortización, quedando en manos privadas y destinándose a vivienda, sufriendo diversas obras y transformaciones, aunque por fortuna el núcleo más importante permaneció en aceptables condiciones para su recuperación.