Sandviga har hatt bosetting siden 1400- / 1500-tallet. Det ble anlagt et kanonbatteri på stedet rundt 1700-tallet for å beskytte innseilingen til Arendal. Sandvigodden fyr ble bygget på samme sted i 1844, og fyret med sine fire bygninger er nå fredet. Uthavnen hadde i 1875 fem losbåter og tolv loser. Der var blant annet en sjømannskole og handelsvirksomhet.