Han debuterte på 12. mars 1997 mot , en treningskamp i Tel Aviv som Sverige vant med 1–0. Mjällby var sentral og bar kapteinsbindet under VM 2002.