Ξεκίνησε ως παίκτης στο άθλημα του μπάντι στη Σουηδία για την ομάδα ΑΙΚ της Στοκχόλμης. Ο Γιόχανσον προσχώρησε ύστερα στις τάξεις της σουηδικής ποδοσφαιρικής ομοσπονδίας, της οποίας υπήρξε πρόεδρος από το 1984 έως το 1991. Ο Γιόχανσον είναι γνωστότερος για την καθιέρωση του Τσάμπιονς Λιγκ και την ανάθεση του Ευρωπαϊκού Πρωταθλήματος Ποδοσφαίρου του 1992 στη Σουηδία. Ο Γιόχανσον ονομάστηκε επίτιμος πρόεδρος της ΟΥΕΦΑ από τον διάδοχό του Μισέλ Πλατινί στο συνέδριο της ΟΥΕΦΑ στο Ντίσελντορφ, τον Ιανουάριο του 2007.