Nacido en una familia franco-caribeña, Lafargue pasó la mayor parte de su vida en Francia, aunque también pasó periodos ocasionales en Inglaterra y España.