Johansson startet sin fotballkarriere hos Lerkils IF før han på juniornivå gikk videre til IFK Göteborg. Derfra gikk han videre til GAIS, hvor han fikk sitt endelige gjennombrudd. Etter tre sesonger i klubben, hvor han spilte over 70 kamper og skåret 20 mål samt ble kåret til årets klubbspiller i 1997, meldte han overgang til Hamarkameratene vinteren 2000. Hos Hamarklubben fikk han over 50 kamper til tross for at han var mye skadet.