En 1978, sucedió a Max Euwe como presidente de la FIDE. Durante el mandato presidió el Campeonato Mundial de Ajedrez 1981. Desde que Korchnoi desertó de la Unión Soviética en 1976, los soviéticos retuvieron al hijo de Korchnoi, Igor. Olafsson retrasó la fecha prevista de inicio del partido para el 19 de septiembre en un intento por conseguir que los soviéticos liberaran al hijo de Víctor. Por este intento, Olafsson provocó la ira de los soviéticos, quienes luego respaldaron al vicepresidente de la FIDE, Florencio Campomanes, para la presidencia de este organismo. Tras perder las elecciones de 1982, Olafsson fue nombrado secretario del parlamento islandés.