Karrieren startet i Fath Tehran, før han gikk til Persepolis FC som 19-åring. I sin første sesong for klubben spilte han 23 kamper. Etter tre sesonger gikk han videre til Al-Ahli, fra De forente arabiske emirater. Han rakk å spille 68 kamper for klubben, og scoret 9 mål. Al-Ahli betalte 20 millioner NOK for overgangen. Han fikk ikke mye tillit fra start, og spilte ingen kamper i debutsesongen. I andre sesong løsnet det for han, da scoret han 14 mål på 22 kamper. Senere ble han kåret til årets fotballspiller i Asia i 2004. Deretter gikk han gratis til den tyske storklubben Bayern München foran 2005/06-sesongen. Han spilte 22 kamper i sin første sesong, og vartet opp med 2 mål fra sin midtbaneposisjon. Karimi har over 100 kamper for Iran, og har scoret 35 mål. I 2004 ble han Årets fotballspiller i Asia. Han spilte også i VM 2006 i Tyskland.