Paul Lafargue verbrachte die ersten Lebensjahre in seinem Geburtsort Santiago de Cuba. Sein ebenfalls bereits dort geborener Vater François war Sohn eines Franzosen und einer Kreolin, die nach der Haitianischen Revolution von 1791 aus Haiti nach Kuba geflohen waren. Auch Paul Lafargues Mutter, Ana Virginia Armaignac, hatte einen aus Haiti geflohenen französischen Vater und war auf Jamaika als Tochter einer eingeborenen Karibin zur Welt gekommen. François Lafargue arbeitete als Küfer und war Besitzer einer Kaffeeplantage, Paul war vermutlich das einzige Kind des Ehepaars.