Uthavnene var kommunens eldste kommunikasjonsmessige sentralsteder. Skipstrafikken i Skagerrak og langs kysten har i århundrer brukt uthavnene for overnatting og nødhavn eller til å vente på lagelig bør for videre seilas. Her møttes utenlandske kjøpmenn og lokale bønder for å handle tømmer. De best kjente uthavnene er Brekkestø på Justøy og Ulvøysund.