בשנת 1444 נהרג אחיו ולדיסלב השלישי, מלך פולין בקרב וארנה, וב-25 ביוני 1447 עלה קז'ימייז' במקומו לשלטון אף בממלכת פולין. בשנת 1454 התחתן קז'ימייז' עם אליזבת מאוסטריה, בתם של אלברכט השני, מלך גרמניה ואליזבת מלוקסמבורג, ממנה נולדו לו 13 ילדים.