No parece, sin embargo, que al monarca le gustara demasiado el Buen Retiro: en cinco años, Carlos III apenas residió en el palacio poco más de dos meses, prefiriendo habitar los distintos situados alrededor de Madrid.