I ekteskapet med Anna Henriette Gossler var han far til en rekke døtre og en sønn, som inntrådte som medeiere i Berenberg Bank ved hans død. Han var onkel til Hamburgs førsteborgermester (statsoverhode) Hermann Gossler (1802–1877).