Los reyes solían pasar el invierno en la ciudad pero con la construcción del castillo de Akershus en Oslo por Haakon V, la residencia de Borregaard pasó a manos privadas y Borg dejó de ser residencia real.