Dagens by stammer fra 1500-tallet. Det kom tidlig bebyggelse lå oppe i Mandalselva, kalt eller Mandal, og Mandal er dermed en av Sørlandets eldste byer – om ikke den eldste. I tillegg lå en tredje bebyggelse i , hvor den naturlige havnen var avgjørende. Kleven var en svært viktig uthavn langs kysten av Agder i historisk tid, og her var det los- og tollstasjon. Handelsstedet er første gang nevnt med ladestedprivilegier i 1632. Vester-Risør fikk fornyet privilegiene i 1662, underlagt kjøpstaden Kristiansand, og med navnebytte til Mandal.