Hans mor Emilia Regina – av ghanesisk opphav – var husslave på Constitution Hillplantasjen på Sankt Croix. Faren var hvit, mulgivis generalguvernør Heinrich Ludwig Ernst von Schimmelmann – fetter til den stenrike plantasjeeier Ernst Heinrich von Schimmelmann. Forfatter av boken , Gísli Pálsson, mener at faren kunne være den dansk-amerikanske organist og komponist Hans Gram (1754–1804).