Etter enkedronningens død i 1714 gikk det i arv innen kongefamilien for siden å havne hos Christian VI. Det ble renovert i 1736–1737 og hadde skiftende beboere og benyttelse for en periode. Blant annet holdt , Kurantbanken, og til her. Det ble også innredet en liten teatersal som ble benyttet til konserter, opera og skuespill.