I 1012 ble Jaromir styrtet av sin bror Oldrich og kastrert. Han flyktet da i landflyktighet, til ingen mindre enn Bolesław i Polen. Senere i 1012 avslo keiser Henrik II personlig Jaromir bønn om å bli gjeninnsatt.