Frem til en gang på 1600-tallet var Bygdøy en øy, men landheving, sedimentasjon og utfyllinger har gjort den landfast. Øya var opprinnelig klostergods under Cistercienserne på Hovedøya fra år 1147, men ble lagt inn under kongen som krongods rett før reformasjonen. Cistercienserne hadde drevet aktiv landsbruksutvikling på Bygdøy, herunder fiskeoppdrett, og gården Bygdøy ble , eller avlsgård, forsyningsgård for Akershus festning. Dette var opphavet til det tidligere navnet på halvøya. Kongen bruke også den rike naturen på Bygdøy som jaktområde, og kong Christian IV satte opp en laftet jakthytte i 1608. Det ble begynnelsen til dagens kongsgård. Gårdens hovedbygning ble oppført i 1733 som sommerresidens for stattholder Christian Rantzau. Kong Christian Frederik bodde her sommeren 1814 før han frasa seg tronen 10. oktober samme år. Kongene Haakon VII og Olav V brukte huset som sommerbolig. Etter Olav Vs død, stod hovedbygningen i mange år ubrukt. Kongsgården på Bygdøy var det første stedet i landet hvor man med sikkerhet vet at det ble avviklet en frimurerlosje sommeren 1749. St. Olai loge ble på denne dagen, sankthansaften 1749, stiftet av grev Christian Conrad Danneskiold-Laurvig.