Langs Holbergsgate sør for Tollbodgata er bebyggelsen oppført etter bybrann og murtvang, mens en del av den gamle trehusbebyggelsen er bevart videre langs gata. Øverst i gata ligger Ekserserhuset oppført i 1807–1808 med gymnastikksal for byens garnison, senere også brukt av Kristiansand katedralskole.