Stedet hadde da bymessig bebyggelse vest for Sjøsanden, ved innseilingen til Skogsfjorden, et lite handelssted kalt . Et annet sted med tidlig bebyggelse lå oppe i Mandalselva, kalt eller Mandal, med bl.a. en egen kirke fra 1500-tallet. Mandal er dermed en av sørlandets eldste byer – om ikke den eldste. I tillegg lå en tredje bebyggelse i , hvor den naturlige havnen var avgjørende. Kleven var en svært viktig uthavn langs kysten av Agder i historisk tid, og her var det los- og tollstasjon. Handelsstedet er første gang nevnt med ladestedprivilegier i 1632. Vester-Risør fikk fornyet privilegiene i 1662, underlagt kjøpstaden Kristiansand, og med navnebytte til Mandal.