Ved hans barnebarn Bolesławs død i 1355 døde Bytom-greinen av Piast-slekten ut, og i striden om arvefølgen måtte hans enke Margareta av Sternberg avstå den nordlige del av hertugdømmet med Koźle til Konrad I av Oleśnica, mens resten gikk i arv til Kasimir I av Cieszyn. Bytom forble oppdelt inntil 1459, da Wenceslaus I av Cieszyn solgte sin del til Konrad 9 den Svarte av Oleśnica. Bytom var nå samlet under Konrads styre.