Johann Heinrich Gossler (1772–1842) var også far til medeier i Berenberg Bank og politiker i Hamburg Wilhelm Gossler (1811–1895). Sistnevnte var bestefar til maleren og skulptøren Mary Warburg, som var gift med Aby Warburg.