Familien føres tilbake til borgeren og fløyelsveveren Claus Gossler (1630–1713) i Hamburg, skjønt det har blitt spekulert i om familien kan være beslektet med andre personer i Hamburg med samme slektsnavn tilbake til 1300-tallet. Claus Gossler var far til borger og fløyelsvever Jacob Gossler (f. 1666, d. ca. 1732), som igjen var far til borger og bokholder Johann Eibert Gossler (1700–1776), som i 1739 kjøpte embedet som herreskjenk (dvs. seremonimester) for Hamburgs senat for 10 600 mark. Johann Eibert Gossler var gift med Catharina Lucretia Boedecker (1694–1773), datter av kjøpmann og storborger Jürgen Friedrich Boedecker (1685–1729) og datterdatter av storborger og Oberalter i Hamburg Eybert Tiefbrunn (1644–1712).