Omkring slottet fantes tidligere en liten by på holmen. Den fikk 3. februar 1450 kjøpstadsprivilegier av erkebiskop Tuve Nielsen Juul. Byen ble satt i brann og ødelagt av svenskene i 1564, og kjøpstadsrettighetene ble overført til Sølvesborg. De ble fornyet 1584, men ble tapt igjen i 1600. Etter freden i Roskilde kom byen til Sverige.