Betsys far var en entreprenør som hadde reist fra Liverpool i England, til îles de Los utenfor kysten av det som nå er Guinea, på midten av 1700-tallet. Moren hennes var afrikansk. Faren hennes fulgte sannsynligvis lokal sedvane, som tilsa at en fremmed best etablerte sin posisjon i samfunnet ved å gifte seg med sin husverts slave eller en datter av en slavekvinne.