Pierre de Gondi var annen sønn til den innvandrede italienske handelsmannen og bankieren Guidobaldo oder Antoine de Gondi (1486–1560) og hans hustru Marie-Catherine de Pierrevive, som var datter til en «receveur du domaine» (skatteoppkrever for det kongelige domene).