I ungdommen var Flem formann i det lokale Ungdomslaget og var formann i Flemsøya fiskarlag 1936-1938. Han hadde styreverv i Sunnmøre fiskarlag fra 1948 til 1966, 1950-1954 og 1957-1959 som formann. I 1947 ble han valgt inn i kommunestyret i Haram og satt der én periode, senere en periode til fra 1963 til 1966.