Johann Hinrich Gossler var far til senator og bankier Johann Heinrich Gossler (II) (1775–1842) og farfar til senator og førsteborgermester Hermann Gossler (1802–1877), bankier Johann Heinrich Gossler (III) (1805–1879) og Emilie Gossler (1799–1875), gift med Johannes Amsinck (1792–1879). Johann Heinrich Gossler (III) var far til bankier Johann Berenberg Gossler (1839–1913). I 1880 fikk familien tildelt navnet Berenberg-Gossler av Hamburgs senat, og ble adlet i Preussen i 1888 og tildelt en friherretittel i 1910, knyttet til besittelsen av familiens fideikommiss.