En 1807, Godoy, deseoso de habitar una residencia más suntuosa, solicitó al ayuntamiento la adquisición de la antigua residencia de la duquesa de Alba, el palacio de Buenavista, en la actual Plaza de Cibeles.