Etter farens død i 1055 ble han hertug av Olomouc, men en konflikt med broren Spytihnev II førte til at han måtte flykte til Ungarn. Med ungarsk hjelp gjenvant han sitt hertugdømme og ble forsonet med broren. Ved brorens død overtok han som hertug av Böhmen.