Hammersborg er med som en forstad i byplanen av 1704. I 1720 eiet slottskapellan Jens Christophersen Hammer «Pladsen Hammersborg», og man regner navnet Hammersborg fra ham. Løkkebygningen, som lå på en knaus litt lenger øst enn hovedhøyden, kalles senere Sorgenfri. Sorgenfri hadde kornløkke, frukt- og urtehave og lysthus. Løkken hadde flott utsikt over byen. Byens første feiring av 17. mai skjedde på Sorgenfri i 1824, etter forsøk fra justisministeren på å stanse arrangementet.