Ifølge det ungarske vitenskapsakademi stammer etternavnet fra byen Kastriot i Dibër-distrikt i Albania. Ifølge andre historikere har etternavnet sin opprinnelse i det latinske ordet castrum og via det greske ordet κάστρο («Slott»), og slik betyr «slottsbeboere».