Da prinsen av Wales, den senere Georg IV, gjorde kur til Hardenbergs hustru, oppsto en skandale som også nådde pressen. Hardenberg måtte avbryte sitt London-opphold, og avsluttet også sitt ansettelsesforhold til Hannover.