Jean-François Paul de Gondi var barnebarn til en italiensk innvandret bankmann i Lyon, som takket værer Katharina de' Medicis gunst (hun var fra 1533 hustru til og så i lang tid mektig enkedronning etter kong Henrik II av Frankrike ble elevert til høye verv og til hertug av Retz. Hans sønn, Jean-François' far, ble hjulpet frem til en generalspost av et høyadelig parti.