Po roku 1285 sa dostal do vlastníctva Omodeja Abu. Po bitke pri Rozhanovciach Karol Róbert hrad skonfiškoval a za kapitána hradu vymenoval Filipa Drugeta. Žigmund Luxemburský ho najprv zálohoval, neskôr v roku 1389 daroval synom Petra z Perína. Páni z Perína pokračovali počas 15. a 16. storočia vo významných stavebných úpravách hradu, vrátane výstavby gotickej kaplnky. V polovici 40. rokov 15. storočia sa hrad dočasne dostal do rúk kráľovského stolníka Ladislava Palóciho, ale füzerské statky zostali neporušené.