Po Matúšově smrti patřil hrad až do konce 15. století panovníkovi. Takzvaný horní hrad rozšířil král Ludvík z Anjou o nový palác a opevnění. Zikmund Lucemburský daroval hrad svojí manželce Barboře, pro kterou nechal v první třetině 15. století vybudovat nový palác a kapli. Všechny tyto stavby byly částečně renovovány a dnes se využívají pro muzejní účely. Polovina 15. století byla ve znamení opevňování hradu zejména z důvodu husitských výprav, které tehdy směřovaly také na Slovensko. Koncem 15. století získal hrad společně s městem Štěpán Zápolský a začal s rozsáhlými přestavbami.