Figlio di un destinatario delle decime del clero, Vadier divenne, dopo aver studiato con i gesuiti, protettore del Vescovo di Pamiers, tenente nel reggimento del Piemonte. Dopo la Battaglia di Roßbach, abbandonò l'arma militare e si concentrò sul funzionamento delle sue proprietà situate nella giurisdizione di Montaut. Venne accusato di corruzione e, in quanto tale, dinanzi al Parlamento di Tolosa, venne condannato nonostante fosse stato difeso da Darmaing, avvocato al quale Vadier portava rancore. Le sue terre che comprendevano il Castello Peyroutet, la terra di Nicol ed il dominio di Belper, gli vennero sequestrate, per un totale di 185 ettari. Nel 1785, Vadier avrebbe dovuto convertire alcuni dei suoi terreni rimastigli in Signorie. Nel 1770, acquisì un consigliere nella sua città natale.