Cuando el príncipe de Gales tomó posesión en agosto de 1783, Sir William Chambers fue nombrado arquitecto, pero después de una primera encuesta, fue rápidamente reemplazado por Henry Holland.