I slutten av 1400-tallet overgikk festningsbyen til grevene av Celje. I de kommende århundrene hadde Varaždin varierende herrer, blant annet Beatrice Frankopan, den tyske markgreven og baron .