Det er høyst usikkert om det var bosetting på Ramsøy i middelalderen, men man vet at øyen lå øde i 1520. I registeret for 1647 ligger Ramsøy under Tveit, i 1723 under Lagmann Knagenhjelm og i 1788 under krigsråd Claus W. Korén. I 1799 ble Ole Andersen på Ramsøy selveier da han kjøpte Ramsøy med Varøy, Langøy og Hauglandsøy av kommerseråd Johan Lawson Korén, krigsråd Koréns sønn. Alle øyene var på denne tiden matrikulert under Kollevåg gård. For å få råd til investeringen, gikk Andersen til kjøpmann Ahlert Harrje i Bergen for å få et lån på 200 riksdaler. Selv skulle ikke Andersen få drive så lenge som selveier; han døde kort tid etter, og overlot gården til enken Elen Andersdatter og deres etterkommere. Etter ektemannens død, tok enken opp et lån hos kjøpmann Gerdt Jansen på 49 riksdaler. Trolig lånte de mesteparten av det som var kjøpesummen for Ramsøy. Landskyldverdien til Ramsøy-gården var 80 riksdaler i 1801 (til sammenligning var Ravnanger-gårdene verd 1 542 riksdaler). I 1801 var det ett gårdsbruk på Ramsøy, i 1865 var det to, mens det var tre i 1886, og senere kom det enda ett; disse hadde både kyr og sauer, og dyrket blant annet havre og poteter. I 1801 var det også to husmannsplasser på Ramsøy, mens det var fire i 1865.