Han var gift sju ganger, og hans femte kone Lydia ble skutt av pirater 20. februar 1979. Hans sjette kone Ann druknet da hun falt overbord i 1984. Han omkom i 1991 sammen med sin datter Carmen på ni år i forliset med båten «L'Artemis de Pytheas» som han selv hadde bygget i Fransk Guyana, og som var uten motor og strøm. Sønnen Thomas overlevde forliset, som skjedde ved kysten av Bonaire på De nederlandske Antiller.