Johansson begann seine Laufbahn im Alter von zwölf Jahren bei der sogenannten Regierungsmeisterschaft für Anfänger, die er auf Anhieb gewann. Er wurde 1974 in Montreal mit dem schwedischen Team Weltmeister im Mannschaftszeitfahren über 100 Kilometer. 1975 gewann er das britische Milk Race. Im Jahr darauf errang er bei den Olympischen Sommerspielen 1976, wiederum in Montreal, die Goldmedaille im olympischen Straßenrennen und wurde damit nach Harry Stenqvist der zweite Einzelolympiasieger seines Heimatlandes im Straßenradsport. Die Strecke mit einer Länge von 180 Kilometern absolvierte er in vier Stunden, 46 Minuten und 52 Sekunden, damit ließ er den zweitplatzierten Italiener Giuseppe Martinelli um 31 Sekunden hinter sich. Sein Trainer war Curt Söderlund, der ihn nach drei Stürzen bei den vorangegangenen UCI-Weltmeisterschaften überreden musste, seine Laufbahn fortzusetzen. Nach seinem Olympiasieg wurde für ihn in seiner Heimatstadt Mariestadt ein Radsportverein, Mariestadt Cyklisten, gegründet. Sein Vater Harry wurde Vorsitzender des Vereins, der in kurzer Zeit einen starken Mitgliederzuwachs erhielt.