Bolognes opphav var lenge ikke helt klarlagt, men det regnes nå som relativt sikkert at han var utenomekteskapelig sønn av den rike plantasjeeieren George de Bologne de Saint-Georges (1711–1774) og den 16-årige slaven Anne Nanon.