Die Hanseatenfamilie Goßler stammt von Johann Hinrich Goßler (1738–1790) ab. Seine Vorfahren waren in Hamburg Bürger und Caffamacher; sein Vater Johann Eibert Goßler (1700–1776) hatte 1739 für 10.600 Mark das Amt des Herrenschenken (Zeremonienmeister) des Rates gekauft. Sein Bruder Johann Jacob Goßler (1758–1812) war Oberst im französischen Dienst und starb während des Russlandfeldzuges Napoleons.