Byens rådhus er fra omkring 1550 og gamlebyen har en rekke gamle bygninger fra perioden 1550 til 1660, da byens borgere slo seg opp på et rikt sildefiske i Øresund. Byen var besatt av svenske soldater flere ganger under Svenskekrigene. Karl X Gustav befestet byen, men da han trakk seg ut i 1660, var byen utpint økonomisk. Krigene mot England tidlig på 1800-tallet var heller ingen lykke for byen, i 1807 sto slaget ved Køge hvor en dansk milits ble slått av britiske styrker, og i 1816 opphørte Køge å være garnisonsby.