I 1773 var han blitt han opptatt i friherrelig stand (1783 som greve), samme år giftet han seg med Agnete Marie Hielmstierne, datter av boksamleren Henrik Hielmstierne. Sammen opprettet de det stadig eksisterende til humane og kulturelle formål. Da paret ikke hadde arvinger, skjenket de i 1806 grevinnens anselige boksamling etter faren til Det Kongelige Bibliotek.