Arvidsson startet karrieren i den lokale fotballklubben Götene IF, før han signerte for IF Elfsborg som 15-åring i 2000. Han var fem år senere klar for førstelaget. Arvidsson fikk aldri noe gjennombrudd i IF Elfsborg, men gjennom flere perioder som utlånt spiller i Åtvidabergs FF var han med på å reetablere Åtvidabergs FF i Allsvenskan. Arvidsson gjonnomførte en permanent overgang til Åtvidabergs FF i 2012.