Fra 1991 til 1994 var Finseth marineattaché og assisterende forsvarsattaché i London med ansvar for Storbritannia og Nederland. Han tjenestegjorde i flere perioder ved Forsvarets Overkommando hvor han blant annet var sjef for strategisk plankontor i Sjøforsvarsstaben, senior stabsoffiser i Sentralstaben og sjef for Forsvarets Operative Logistikkstab. Han ble i 1999 utnevnt til flaggkommandør og sjef for Kystartilleriet (Kystartilleriinspektør). I 2001 ble han sjef for Sjøforsvarets skoler (KNM Tordenskjold).