Opprinnelig var Ormøya ei fritidsøy for hovedstadens bemidlede, blant annet Camilla Collett ferierte på øya, men fra ca. 1900 ble det mer vanlig å bo fast på Ormøya.