Han var bror til Albert de Gondi (to av hvis sønner, Henri og Jean-François, etterfulgte etter tur Pierre som biskop av Paris) og en protesjé av Catherine de Médicis. Hun hadde tatt seg av familien i lang tid; hans mor skulle få oppgaven som «gouvernante des enfants de France» (guvernante for kongebarna), og faren ble «maître d’hôtel» (hushovmester) for den unge hertugen av Anjou, den senere kong Henrik III (1551–1589).