Debutó en la Allsvenskan con el Malmö el 1 de octubre de 2012 en un partido como visitante contra el Syrianska. Debutó porque el primer portero, Johan Dahlin, fue suspendido. Olsen mantuvo la portería a cero y el partido terminó 2-0 a favor del Malmö. En un partido contra el Åtvidabergs, Dahlin tuvo que ser sustituido en el descanso por una lesión y Olsen tuvo una vez más su lugar. Olsen luego logró mantener la portería a cero en la parte restante del partido, así como otros tres partidos antes de encajar un gol en tiempo de descuento en su cuarto partido de la temporada contra el IFK Göteborg. Mantuvo a Dahlin fuera del once inicial en algunos partidos más, antes de que se le dio el lugar en el banco una vez más. En total Olsen jugó 10 partidos para el Malmö en la temporada 2013. Antes del inicio de la temporada 2014 el club vende a Johan Dahlin, haciendo a Olsen el primer portero del club. En la temporada 2014 Olsen jugó 29 de los 30 partidos de liga y fue una pieza vital del equipo que defendía el título de la liga y se clasificó para la de la Liga de Campeones de la UEFA 2014-15. Por sus actuaciones en la liga, Olsen fue galardonado al portero del año de la Allsvenskan.