Fra 1961 til 1965 var han 1. vararepresentant til Stortinget fra Møre og Romsdal. I 1965 ble han valgt inn og satt to perioder på Stortinget, til 1973. Da Venstre ble splittet i 1972 hørte Flem til det mindretallet i stortingsgruppen som ble værende i Venstre. Han var medlem av sjøfarts- og fiskerikomiteen begge perioder og av fullmaktskomiteen 1969-1973. Fra 1973 til 1977 var han igjen 1. vararepresentant.