Cuando el marquesado pasó a formar parte del Ducado de Medinacelli en el siglo el edificio fue abandonado y finalmente vendido, en 1906, junto con los terrenos de Las Navas a la empresa Resinera Española, que posteriormente lo cedió al Estado para que hiciera uso de él con fines culturales.