I 1305 ga kong Håkon V Magnusson gården i morgengave til sin kone, dronning Eufemia av Rügen. Gården har siden den gang vært eid av eller stått til disposisjon for det norske, dansk-norske eller svensk-norske kongehus. Hovedbygningen på gården ble oppført av stattholder grev Christian Rantzau i 1733 i forbindelse med kong Christian VIs Norgesreise. Den var gjennom resten av 1700-årene sommerbolig for stattholdere og andre høye embetsmenn, og ble fra omkring 1800 også sommerresidens for kongelige. Kong Christian Frederik (1786-1848), senere Christian VIII, bodde på Kongsgården sommeren og høsten 1814 etter at han måtte frasi seg tronen ved Mossekonvensjonen, og det var her han tok imot Stortingets deputasjon før avreisen til Danmark 10. oktober. Ved avreisen ble han rodd fra Paradisbukten til et ventende skip ved Jeløen. På grunn av dårlig vær måtte skipet ta inn ved Fredriksvern (Stavern), og den endelige avreise fra Norge skjedde 28. oktober. Christian Frederik kom aldri tilbake til Norge.