Hans onkel Vladislav III, konge av Polen og Ungarn, hadde blitt drept tidligere i slaget ved Varna i dagens Bulgaria i 1444. Kasimir lyktes ikke i sin tronovertagelse og kom tilbake som en flyktning. Hans far, Kasimir IV, fikk ham godt utdannet i offentlige affærer og da hans bror Vladislav ble konge i Böhmen, ble Kasimir gjort til kronprins og arving til Polens trone.