A lo largo de la juventud de Casimir, el obispo Zbigniew Oleśnicki fue su mentor y tutor, sin embargo, el clérigo sintió una gran renuencia hacia él, creyendo que sería un monarca fracasado después de la muerte de Ladislao.