Allerede på 1300–1400-tallene var det en travel havn og et lite tettsted ved Otra nederst på Lund (Lahelle). Et annet viktig element i utviklingen er havnen ved Flekkerøy, som var den viktigste langs Skagerrak-kysten fra 1500-tallet og som fikk sine første befestninger med fort i 1555 under Christian III. Lensherre Palle Rosenkrantz fikk i 1635 ordre om å flytte fra Nedenes og bygge en kongsgård ved Flekkerøy. Før anleggelsen av Kiel-kanalen mellom Nordsjøen og Østersjøen hadde byen meget stor strategisk betydning.