Nel 2012 approda nella principale squadra cittadina, il Malmö FF, in cui già era cresciuto e con cui debutta il 1º ottobre 2012 nel match esterno contro il Syrianska (vinto 0-2), complice la squalifica del portiere titolare Johan Dahlin. La seconda presenza nella massima serie svedese la mette a segno qualche mese più tardi, il 5 aprile 2013, quando è subentrato a un Dahlin questa volta infortunato. In totale colleziona 10 presenze in campionato nella stagione 2013, in cui il Malmö FF è tornato a vincere lo scudetto. Con la cessione di Johan Dahlin, a partire dal campionato 2014, è stato promosso titolare. Al termine della stessa stagione, Olsen è stato nominato miglior portiere dell'Allsvenskan 2014.