Olsson begann das Handballspielen in seiner Heimatstadt bei LUGI HF, wo er bereits früh zum Nationalspieler wurde. Erst im Alter von 26 Jahren verließ er den Verein und wechselte 1974 zu IF Saab. Nach nur einer Saison wurde er für fünf Jahre Spielertrainer von AIK Handboll. Danach trainierte er zehn weitere Jahre in Schweden (zwei bei IFK Kristianstad und acht bei LUGI HF). Von 1990 bis 1993 trainierte er mit dem norwegischen Verein IL Norrøna erstmals ein Team im Ausland. Es folgten zwei Jahre beim dänischen Klub Virum-Sorgenfri HK, bevor er von 1995 bis 1997 japanischer Nationaltrainer wurde und mit dem Team an der Weltmeisterschaft 1997 teilnahm. Direkt danach übernahm er den VfL Gummersbach in der Handball-Bundesliga. Nach nur gut fünf Monaten wurde er entlassen, jedoch zum Sportdirektor ernannt. In dieser Funktion setzte er sich sieben Monate später zu Beginn der &lt;a href="Handball-Bundesliga%201997/98"&gt;Saison 1997/98&lt;/a&gt; erneut selbst als Trainer ein. Zwei Tage vor Saisonbeginn kündigte er jedoch wieder. Nachdem er nochmals für eine Saison seinen Heimatverein LUGI HF trainierte, wurde er im Jahr 2000 Trainer der Saudi-arabischen Nationalmannschaft. Nach der Teilnahme an der Weltmeisterschaft 2001 beendete Olsson das Engagement und äußerte später den Verdacht, dass korrupte Strukturen im asiatischen Handball vorherrschten. Ein Angebot, die Ägyptische Nationalmannschaft auf die Weltmeisterschaft 2003 vorzubereiten, schlug er nach zweiwöchiger Bedenkzeit aus und beendete seine Karriere.