Navnet Nesøya har øya antakelig fått etter gården på fastlandet, som også har gitt navn til Neselva, Næs bro fra ca. 1800 og stedet Nesbru. Denne gården antas å ha vært av de eldste i distriktet.