Johansson ble olympisk mester i klassen mellomvekt i bryting gresk-romersk stil under OL 1912 i Stockholm. Åtte år senere, under OL 1920 i Antwerpen vant han sin andre olympiske tittel i bryting, denne gang i lett tungvekt gresk-romersk stil. Han var også med under OL 1924 i Paris i vektklassen tungvekt, men ble der utslått i tredje runden.