Gosslers far hadde kjøpt embedet som , som gjorde ham til seremonimester i Hamburgs råd, for 10 600 mark. Johann Hinrich Gossler begynte som lærling i handels- og bankhuset Berenberg, og etter en syvårig læretid arbeidet han for et handelshus i Cádiz i noen år. I 1768 dro han tilbake til Hamburg, der han giftet seg med Elisabeth Berenberg. Hennes familie, Berenberg, kom som flyktninger fra Antwerpen til Hamburg, der de etablerte Berenberg Bank i 1590, avla eden som storborgere i 1684, giftet seg med andre ledende hanseatfamilier (ofte av nederlandsk oppinnelse) og var medlemmer av byens råd (senere kalt senat) på 1700-tallet.