Pero a finales de 1785, los sobrecostes, sus cuentas sin pagar después de su matrimonio con la señora Fitzherbert, junto con las deudas personales del Príncipe de Gales (de alrededor de £250.000), plagados de los trabajos de reconstrucción, sobre todo debido a su opulento estilo de vida y su deseo de que sólo lo mejor sería hecho para la que sería su residencia principal, detuvieron la construcción en Carlton House.