Vadset tok befalsskolen i 1949 og ble sersjant i Garden, hvorpå han tok Hærens krigsskole i årene fra 1952 til 1954. Han tjenestegjorde ved Brig N i noen år, og i 1962 gikk han ut av Hærens stabsskole som kompanisjef. Senere gjennomgikk han NATO Staff College i England, og var som oberstløytnant lærer ved Hærens Stabsskole fra 1972, og ledet stabsskolen fra 1975 etter et kortere opphold ved Brig N. Da den norske bataljonen i UNIFIL ble opprettet i Libanon i 1978, gikk Vadset etter kort tid inn som nestkommanderende for selve FN-styrken UNIFIL. Året etter ble han den første norske operativt nestkommanderende i UNIFIL, under øverstkommanderende Emmanuel A. Erskine som Vadset hadde gått på samme kull med ved Staff College i England i 1968. I Libanon var situasjonen svært spent de første årene, og særlig major Haddad og SLA gjorde UNIFIL til skyteskive for politisk misnøye med FNs engasjement. I 1980 startet han ved toårskurset i Roma.