De første 300 årene var Borregaard kongsgård og fast tilholdssted for norske konger, særlig om vintrene. Da Håkon V Magnusson bygde Akershus slott i 1307 gikk gården til privat eie og Borg var ikke lenger residensby.