Den hellige Kasimir var barnebarn av Vladislav II Jagello av Polen og den andre sønnen til kongen av Polen og storfyrsten av Litauen, Kasimir IV av Polen, og dronning Elisabeth av Habsburg av Ungarn. Hans bestefar på morsiden var kong Albrecht II av Det tysk-romerske rike, konge av Ungarn og av Böhmen.