Rozehnal și-a început cariera la SK Sigma Olomouc, unde meciurile bune l-au făcut să fie convocat echipa de sub 21 de ani a Cehiei. În 2003, a semnat cu gruparea belgiană Club Brugge. În 2004, Rozehnal a jucat pentru Cehia la Campionatul European, în care echipa sa a ajuns la semifinale, fiind eliminată de Grecia. A câștigat Cupa Belgiei în primul său sezon cu Brugge și Prima Ligă Belgiană în 2005. El a semnat cu Paris Saint-Germain în iunie 2005.