Etter at Bezprym i 1031 hadde tatt makten fra Mieszko II, forlot Rycheza og Kasimir Polen og reiste til Sachsen. I 1034, etter sin far Mieszko IIs død forsøkte Kazimierz å overta makten, men et opprør blant magnatene førte til at han ble forvist fra landet, og oppholdte seg så i Ungarn, før han dro til Tyskland.