Olsen var medlem av kommunestyret i Sarpsborg fra 1948 til 1983, medlem av formannskapet fra 1952 og var ordfører i 18 år fra 1966 til 1983. Før han ble ordfører var han formann i Sarpsborg Trelastlager.