Flem var motstander norsk medlemskap i EF sammen med blant andre Hans Hammond Rossbach, et standpunkt han kom frem til etter en studietur til Bonn og Brussel. I hans hjemkommune ble det over 80 % ved folkeavstemningen i 1972. I 1971 stemte han for å andre siktemålet med forhandlingene med EF fra fullt medlemskap til forhandlinger om avtaler på et avgrenset område. Hallvard Eika, Gunnar Garbo, Johan Kleppe og Hans Hammond Rossbach stemte også for.