Olsen var politisk engasjert for Høyre. I 1965 ble han innvalgt i Stavanger bystyre. Han satt også i formannskapet.