Lysøen var i middelalderen en del av jordegodset under Lyse kloster. Først omkring 1670 slo de første nybyggerne seg ned, og fra den tiden stammer anløpskaien og et gårdstun; dette er den eldste kjente faste bosetningen på øya. Gården var leilendingsbruk under Lyseklostergodset til 1870, da Ole Bull ble eier av Lysøen. Han var 62 år da han startet byggevirksomheten der. Huset på Valestrand overlot han til sønnen Alexander fra første ekteskap. Med sin nye kone Sara, 40 år yngre enn ham selv, ville Bull stifte et nytt hjem på Lysøen, der han var kjent fra barnsben av. Villa Lysø ble en videreutvikling av villaen på Valestrand, utvendig som en minnebok fra alle hans reiser. Våren 1873 stod huset ferdig til innflytting, og først da kom Sara med den ett år gamle datteren deres. Ole Bull tilbrakte syv somre på Lysøen; men sviktende økonomi og konflikter med de dominerende, stadig besøkende svigerforeldrene gjorde at han etterhvert overførte eiendommen til datteren Olea. 70 år gammel kom han syk hjem etter en konsertreise i USA. Tre uker senere sovnet han inn i villa Lysø med en kvast røsslyng, yndlingsblomsten sin, mellom hendene, mens Sara satt ved harmoniet og spilte Mozarts rekviem for ham. Enken og datteren Olea Vaughan holdt sommerstedet Lysøen i hevd. Olea lot barneværelset rosemale av Os-bygdens beste malere. Sara døde i 1910; Olea allerede året etter. Hennes datter, den fire år gamle, foreldreløse Sylvea, ble tatt hånd om at amerikanske venner som sørget for at hun hver sommer kom tilbake til Lysøen.