En 1807, por medio de la expropiación, el Ayuntamiento de Madrid se lo regala al valido del rey Carlos IV, Manuel Godoy, I duque de la Alcudia.