Ifølge tyrkiske kilder stammet familien fra landsbyen Kastrat i det nordøstlige Albania, og hadde på dette tidspunktet ikke vært innen aristokratiet lenge, men Skanderbegs farfar Pal Kastriota, sønn av en lokal guvernør, ble adlet og hadde opprinnelig eid to landsbyer med navn Sinja og Nedre Gardi. Andre historikere hevder at de stammet fra det vestlige Kosovo.