Ólafur har vært medlem av Alltinget. I årene 1988–1991 var han finansminister, og mellom 1987 og 1995 var han formann for Alþýðubandalagið (), et sosialistisk politisk parti som eksisterte mellom 1968 og 1998, etter at han brøt med Framsóknarflokkurinn ().