Po roce 1285 se dostal do vlastnictví Omodeje Aby. Po bitvě u Rozhanovců Karel I. Robert hrad zkonfiskoval a za kapitána hradu jmenoval Filipa Drugeta. Zikmund Lucemburský ho nejprve zálohoval, později v roce 1389 daroval synům Petra z Perína. Pánové z Perína pokračovali během 15. a 16. století ve značných stavebních úpravách hradu, včetně výstavby gotické kaple.