Jean-Pierre Vuillemin er den yngste i en familie på seks barn. Hans bror François, medlem av , ble arbeiderprest i bispedømmet Saint-Dié.