Cuando las tropas napoleónicas entraron en Madrid en marzo de 1808, Fernando VII tomó disposiciones para que el Buen Retiro se convirtiera en cuartel general francés y en la residencia del general Murat, éste, sin embargo, prefirió la comodidad de la antigua residencia de Manuel de Godoy.