Na svoji, na panovníkovi nezávislou politiku, však doplatili po nástupu krále Karla Roberta z Anjou, který je v roce 1312 u Rozhanovců porazil a zkonfiskoval velkou část jejich majetků. Ve středověku z rodu Abovců vzešlo více než 20 samostatných šlechtických rodů. Z území nynějšího Slovenska to byli například šlechtici z Hosťoviců (Vendégi), z Bertótovců (Bertóty), ze Širokého (Širokai), z Hendrichovců (Hedri), z Drienova (Šomoši), z Lipovca (Kecer) a mnohé další.