Bár nem tudjuk egyértelműen, hogy Tomaj- vagy Aba-nemzetségbeli volt-e az építtető, az bizonyos, hogy az 1300-as évek elejétől kezdve a vár urai az Árpád-ház kihalása utáni interregnum idején jelentősen gyarapodó tartományúri birtokú Abák voltak. A vár birtokosát, Aba Amadé országbírót 1311-ben, a Kassán kitörő zavargásokban meggyilkolták. Ezt követően Károly Róbertnek Amadé fiai (János abaúji ispán, László ungi ispán, továbbá Miklós és Dávid) ellen is fel kellett lépnie. Velük 1311. október 3-án köttetett a kassai szerződés, amelyben névleg lemondtak több birtokukról és behódoltak a királynak. Azonban csakhamar ismét kiéleződött az ellentét, viszont sikerült megtörni az Amadé-fiak ellenállását a rozgonyi csatában. Ők ismét behódoltak, a jogtalanul birtokba vett királyi várakat visszaszolgáltatták, bár Boldogkő és Nevicke, illetve az ungi ispánság továbbra is a kezükben volt. A debreceni csatában a király oldalán harcoltak (a fiak közül elsősorban Aba János átállása bizonyos), 1317-re már Ung megye területére szorultak vissza. Ugyanezen év őszén újra fellázadtak, és Tiba várát ugyan elfoglalták, de a király csakhamar ismét döntő vereséget mért rájuk. Amádé fiai kénytelenek voltak elhagyni az országot, birtokaikat pedig elkobozták.