De første årene etter at Kristiansand var grunnlagt (1641), var selve havnen ubefestet. Mer omfattende planer med Lagmannsholmen som hovedanlegg og batterier på Odderøya og Dybingen ble approbert i 1686 og anleggsarbeidene startet i 1687. Den første befestningen på Odderøya var en treskanse oppført i 1667 for å beskytte havnen på øyas østside. Området har i dag navnet Lasaretthøyden. Forsvarsanleggene på Odderøya og Dybingen ble videreutviklet på 1670-tallet. Etter at Christian V besluttet å flytte orlogsverftet og orlogsstasjonen fra Fredrikstad til Kristiansand i 1686, ble det lagt planer om ytterligere befestninger i området, først og fremst på Lagmannsholmen. Disse utbyggingene startet i 1687. Den første egentlig festning på Odderøya ble bygget på Lasaretthøyden i 1697. Rester av festningsmurene finnes fremdeles i området. På denne tiden ble det også anlagt en stjerneskanse og kruttkjeller på Oberberget eller Odderøytoppen.