I 1182 gjorde Konrad opprør mot hertug Fredrik av Böhmen og ble utnevnt som markgreve av keiser Frederik Barbarossa, som var en fiende av hertugen. Etter hertug Frederiks død i 1189, ble han valgt til ny hertug av Böhmen, med støtte av adelen. I mai samme år ble han anerkjent av keiseren.