Bjärsmyr begynte sin karriere i Hestra SSK. Han var også innom Grimsås IF før han i 2002 gikk til Husqvarna FF. Sesongen 2004 ble Bjärsmyr store gjennombrudd da han var en av de sentrale spillerne bak lagets ligaseier i 2. divisjon. Etter sesongen gikk han til IFK Göteborg, der han fikk sin debut på a-laget 30. mai 2005 mot IF Elfsborg. Da Fredrik Risp ble solgt sommeren 2005 og flere spillere var skadet, fikk Bjärsmyr en plass i startoppstillingen. Det gikk så bra at han ble nominert til under Fotbollsgalan. Mattias Bjärsmyr og Karl Svensson dannet i fellesskap et av Sveriges beste backpar. I 2006 flyttet Karl Svensson og Bjärsmyr dannet et nytt stopperpar sammen med Alejandro Lago. Sammen med Ragnar Sigurdsson dannet Bjärsmyr et stabilt midtforsvar sesongen 2007, da IFK Göteborg tok sitt attende SM-gull.