Rosický startet karrieren hos Sparta Praha i 1998. Med klubben vant han tre ligamesterskap. I 2001 gikk han til Borussia Dortmund, og hjalp klubben til en Bundesligatittel i 2002, og kom til UEFA-cupfinalen (der Dortmund tapte 3-2 for Feyenoord) samme sesong. I alt spilte han nesten 150 Bundesliga-kamper for Dortmund, og 23 kamper i Mesterligaen og UEFA-cupen.