Vadier wurde in einer Jesuitenschule erzogen und ausgebildet. Er trat in die französische Armee ein, beendete jedoch seinen Dienst nach der Teilnahme an der Schlacht bei Roßbach (1757). Danach studierte er die Rechte und kaufte das Amt eines Rates am Oberlandesgericht zu Pamiers.