På Nedre Hesnes har det vært bosetning i flere tusen år, og det er gravminner fra før 3000 f.Kr. der. Hesnes er en typisk kystgård og har gitt navn til bygda Hesnes og en nå nedlagt skole. Det sies at den avsatte kong Christian II gikk i land på Hesnes en dag i oktober 1531 og gjennom Gunder Jonsen på Bringsvær prøvde å samle nordmenn til en styrke for å ta tilbake Norge. Henrik Ibsen var godt kjent på Hesnes fra årene i Grimstad, og skildrer et landskap som minner sterkt om Hesnes i diktet «I Havsnød» (1861). Det mulige forbildet for «Terje Vigen» bodde også på Hesnes, og miljøet derfra er forbildet for diktet.