Gaetjens var sønn av en mor fra Haiti og en far med opprinnelse i Tyskland. Gaetjens’ oldefar, Thomas Gaetjens fra Bremen, hadde blitt sendt til Haiti av Fredrik Vilhelm III, konge av Preussen, som forretningsemissær. Familien var i utgangspunktet ganske rike, men på den tiden da Joseph ble født hadde formuen minsket betydelig, skjønt de tilhørte fortsatt Haitis bedrestilte. Da Joseph ble født fikk faren fødselen registrert ved den tyske ambassaden i tilfelle gutten noen gang ville ønske tysk statsborgerskap.