I 1494, i kong Kong Hans' tid ble det holdt et stendermøte, hvor udelelighetsbrevet ble vedtatt 31. mai. I brevet ble det slått fast at Danmarks Rike var et fritt valgrike, hvilket vil si at landet ikke kunne stykkes ut i arvelodd. Kong Hans' mor Dorothea av Brandenburg hadde borgen som enkesete og døde her i 1495. Tycho Brahes bror, Steen Brahe var lensmann på Kalundborg i over 40 år.