I 1639 ble Françoises far løslatt fra fengselet og reiste med sin familie til øya Martinique. Jeanne de Cardhillac var en streng mor og ga barna få friheter, og hun ga dem en protestantisk utdannelse (til tross for deres katolske dåp). Constant d'Aubigné reiste tilbake til Frankrike, og etterlot ektefelle og barn på Martinique.