Баща му Гьон Кастриоти притежава владения в областта Мати. Майка му Войсава е сръбкиня, по всяка вероятност от рода Бранковичи. Баща му става османски васал в края на XIV век и като такъв е задължен да плаща данък и да воюва на страната на султана (например в битката при Анкара през 1402 г.).