Ramsøy har tradisjonelt vært en utpreget fiskerbygd, noe som på et tidspunkt ga den kallenavnet «kvinnfolk-øya», mens mennene gjennom lange sesonger holdt seg til havs, rådde kvinnene over barn og eiendom hjemme. I 1865 var 26,7% av Ramsøys yrkesaktive befolkning registrert med fiske som eneyrke. Så sent som i 1975 drev 20 menn ennå med ringnot, men på det tidspunktet var mange også sysselsatt i andre næringer, omtrent like stort som tallet på fiskere, var antall ukependlere: folk som bodde i Bergen i ukene og på Ramsøy i helgene.