Karlsson startet og avsluttet spillerkarrieren i IFK Eskilstuna, men lyktes best i Åtvidabergs FF, hvor han var en av nøkkelspillerne og lagets kaptein i dets storhetstid.