Tuvo numerosas amantes: las más conocidas fueron Louise de La Béraudière du Rouhet, Françoise Babou de La Bourdaisière (madre de Gabrielle d'Estrées) y Renée de Rieux de Chateauneuf.