Mjällby var blant nøkkelspillerne da AIK vant SM-gull i 1998. Deretter dro han til Skottland for å spille for Celtic FC. Etter å ha prøvespilt for den spanske klubben Levante UD, returnerte han i 2006 til AIK, men la opp i mai samme år på grunn av skadeproblemer.