Da Valdemar Atterdag i 1350 prøvde å samle riket etter pantsettingen til holstenerne, ble byen ytterligere befestet og ofte omtalt som Randershus. Denne festningen ble erobret av misnøyde adelsfolk i 1357. I 1359 angrep Valdemar byen på nytt.