Han tok medisinsk embetseksamen ved Universitetet i Oslo 1935. Han flyktet til Sverige 1942 og ble valgt til stortingsrepresentant for Venstre i 1945. Olsen hadde deretter to perioder som vararepresentant. Han var varaordfører i Kristiansand 1963-1966, medlem av formannskapet 1959-1963, medlem av bystyret 1947-1966 og 1975-1979. Medlem av Kringkastingsrådet 1966-1977.