En 1836, el edificio fue desamortizado por el gobierno de Mendizábal y adjudicado a la Real Academia de la Historia.