Alt dette sammen med, at der nævnes to gilder, Skt. Knuds og Skt. Gertruds, vidner om, at Kalundborg har været en ret betydelig by i middelalderen. Af en fortegnelse af købstædernes afgifter fra 1270 nævnes Kalundborg som den fjerde i rækken (efter Roskilde, København og Næstved) efter afgiftens størrelse. De første privilegier blev tildelt byen af kong Hans på Antvorskov Kloster den 10. marts 1485 (da den fik samme privilegier som Roskilde og København), og disse privilegier stadfæstedes senere flere gange, således af Christian 3., Christian 4. og Frederik 3. Øvrebyen var i middelalderen den egentlige by og som sådan befæstet, idet den var omgivet af en vold eller snarere mur, der hist og her var forstærket med tårne. Også længe efter at der var sket bebyggelser både mod syd ned til fjorden og mod øst, beholdt Øvrebyen ry som den vigtigste del; men svære ildebrande, således en under kong Hans og en 1617, samt krige, hærgede den. Grevens Fejde tog på den, men endnu værre var Karl Gustav-krigene 1658–60; og da borgen lå i grus, var Øvrebyens rolle udspillet. Nedrebyen blev den egentlige by, skønt også den havde lidt voldsomt ved fjendens brandskatninger: I 1645 havde Kalundborg 1.139, i 1672 1.058 indbyggere. Handelen hjalp Nedrebyen på fode, for det var byens hovederhverv.