В XV веке замок был почти полностью разрушен и в том же веке восстановлен. К этому времени относится и строительство замковой часовни. В XVI—XVII веках появились другие постройки. Замок служил оборонительным укреплением против вторжений турок и восстаний крестьян. В XVII—XVIII веках здесь размещались арсенал и госпиталь. В период наполеоновских войн был разрушен, после восстановления власти Габсбургов до 1905 года использовался в качестве тюрьмы. Среди узников замка — словенский поэт Иван Цанкар, участник революции в Венгрии Лайош Баттьяни, итальянский писатель Сильвио Пеллико. В 1848 году возведена сторожевая башня для выявления в городе пожаров.