Clostermann var sønn av den franske generalkonsulen i Rio de Janeiro. Hans familie var av elsassisk herkomst.