Om øyens navn skriver Fossen at man har hevdet Ramsøy kan komme fra plantenavnet «rams» (skogløk) eller av mannsnavnet «Rafn» (Ravn). Fossen avviser gjetninger om at navnet egentlig har vært «Rafnangrsøy», fordi øyen tidligere kan ha tilhørt Ravnanger-gården siden det ikke finnes belegg for påstanden og den virker svært lite sannsynlig av geografiske årsaker. Rygh mener også at navnet på Ramsøy ikke kan ha komme fra Ravnanger både på grunn av beliggenhet og tonelag. Ravnanger kommer ifølge Rygh av Rafn og angr (fjord).