Printre locuitorii notabili se numără regele Ludovic I al Ungariei și Sfânta Regină Hedviga de Anjou. Un vizitator frecvent al castelului a fost Jogaila (regele Władysław Jagiełło). În următoarele secole a găzduit mai puțini monarhi polonezi și a devenit un loc de reședință pentru starosta localnică. Între 1611-1615 castelul a fost reconstruit în stil manierist pentru Sebastian și Stanisław Lubomirski potrivit disignului lui Maciej Trapola. La acel moment castelul avea 40 de camere bine echipate. În timpul Potopului din 1655 castelul a fost aproape complet distrus de către trupele suedeze-brandenburge. Din acel moment, clădirea de locuit a început să se ruineze.