En 1783, el rey Jorge III, concedió a su hijo, Jorge, príncipe de Gales, la «pasada de moda y en parte desmoronada» Carlton House, junto con una suma de 60000 libras para renovación.