Man antar at de første beboerne kom til øya i ca. 1535 som såkalte strandsittere som drev fiske. Det var fast bosetting gjennom hele 1600-tallet. Men øya var ubebodd i store deler av 1700-tallet. Fra 1750-årene har det vært fastboende sammenhengende opptil i dag. Øyene var eiet av Værne Kloster, Rygge som var en herregård, ble solgt til Tomb Herregård i 1802. Eiendommene på Oven ble solgt til eiendomsbesitterne fra begynnelsen av 1800-tallet etter at øya kom under Tomb Herregård.