Det har vært fast bosetting på Indre Vassholmen siden 1886, da Nils Pedersen Gjeita (1832–1898) fra naboøya Geita kjøpte øya for 999,99 kroner, sammen med sine to døtre og svigersønner. De kjøpte holmen av familien Strøm, som eide Strøm gård på Snarøya. Rundt 1900 bodde det ca. 20 mennesker på Vassholmene, i 1920 var tallet økt til 30. De livnærte seg hovedsakelig av fiske etter blant annet brisling, torsk, makrell, ål og hummer. Da øya ble bebygd, fantes det ifølge tradisjonen bare ett tre her – en stor furu nord på øya. Ellers var det sparsomt med vegetasjon på begge holmene. Beboerne rodde inn jord, busker og frukttrær til øyene og forvandlet eiendommene til fruktbare og trivelige hager, hvor de holdt husdyr som gris og høns i uthusene.