Nogaret’n suku ylläpiti pientä perintötilaa Nogaret’n kylässä lähellä Saint-Felix-de-Caramania, joka on nykyisin Saint-Felix-Lauragais. Perheen nimi tulee tästä kylästä. Guillaume de Nogaret’n isä oli kotoisin Toulousesta ja hänet tuomittiin kerettiläisenä albigenssiristiretkien (1208—1229) yhteydessä.