Rozehnal, kariyerine SK Sigma Olomouc takımında başlamıştır. Performansının yükselmesiyle, Çek Cumhuriyeti 21 yaş altı millî futbol takımına çağrılmıştır. 2003 yılında Belçika'nın Club Brugge takımına katıldı ve 2004 yılında Çek Cumhuriyeti millî futbol takımının Avrupa Futbol Şampiyonası kadrosunda yer aldı. Bu şampiyona da, yarı finalde Yunanistan'a elenene kadar takımıyla mücadele etmiştir. Takımıyla ilk sezonunda Beker van België'yi, ikinci sezonunda ise Pro League'ni kazanmıştır. 2005 yılı haziran ayında, Paris Saint-Germain'e katıldı.