Som byens grunnlegger regnes Esbern Snare. Dronning Dorothea levde sine siste år i Kalundborg hvor hun hadde enkesete, og hvor hun døde den 10. november 1495.