Brann hentet Ólafur Þórðarson vederlagsfritt fra islandske ÍA Akranes foran 1989-sesongen. Under sin bror Teiturs ledelse, markerte han seg som en innsatsfylt og hardtarbeidende midtbanspiller. Da Teitur Þórðarson valgte å forlate Brann for å ta over trenerjobben for nyopprykkede foran 1991-sesongen, fulgte Ólafur Þórðarson med til Oslo. Overgangsummen på 275 000 kroner Lyn måtte betale for ham, var på tidspunktet rekordsum mellom to klubber i Norge. Ólafur Þórðarson spilte to sesonger for Lyn. Hans siste sesong var preget av skader. Grunnet en klausul i kontrakten han hadde med seg via det islandske fotballforbundet på veien til Norge i 1989, kunne ikke Lyn kreve overgangssum for ham da han etter 1992-sesongen forlot norsk fotball for å vende tilbake til ÍA Akranes.