Su padre ya tenía 65 años en el momento del nacimiento de Casimir, y se esperaba que su hermano Władysław III , tres años mayor que él, se convirtiera en rey antes de su mayoría.