Counts of Celje
In späteren Jahren wurde das Schloss mehrmals umgebaut. Eigentümer waren unter anderem die Grafen von Cilli, die Familie Vitovec, Ivaniš Korvin sowie die Ungnads. Ende des 16. Jahrhunderts kam die Burg in den Besitz der Familie Erdődy und blieb es bis 1925. In diesem Jahr wurde die Burg mitsamt dem umliegenden Gebäudekomplex von der Stadt Varaždin enteignet.