Finseth startet sin militære løpebane i 1975. Etter endt Sjøkrigsskole i 1979 tjenestegjorde han ved kystfort og på 22. MTB Skvadron. Han tjenestegjorde i ulike operative stillinger ved Tromsø Sjøforsvarsdistrikt og var sjef for Grøtsund fort fra 1985 til 1987. Finseth var instruktør og studieveileder på Sjøforsvarets stabsskole fra 1990 til 1991.