Aunque Carlos IV apenas volvió a utilizar el palacio de El Pardo, sí que fue el responsable de encargar a Juan de Villanueva la restauración, de 1806 a 1809, de la Capilla Real y la Casa de Oficios, dañados por un incendio.