Greven var en påholdende mann, og sparsommelig med utgiftene til familien. Han hadde lite til overs for de nye politiske og sosiale strømninger, i motsetning til sin kone, som ofte uttalte seg frimodig under selskapelig samvær. Han oppførte seg tyrannisk overfor familien, hvilket innimellom førte til ubehagelige opptrinn. I 1797 endte det med et brudd mellom ham og hustruen, hvoretter grevinnen flyktet til Danmark. To år senere reiste sønnene, under dramatiske omstendigheter, etter sin mor.