Hagen ble anlagt etter engelsk modell. Bygningen er omkranset av en mindre festningsvoll, bastioner og vollgrav, men dette er av så svak utførelse at det nærmet må sees på som symbolsk. En antar at «festningen» er anlagt mest til pryd og at den er av liten forsvarsmessig verdi. Den er imidlertid unik i norsk sammenheng og ble fredet sammen med hovedhuset i 1923. To keiserlinder ble plantet i hovedaksen av dronningene Margrethe av Danmark og Sonja av Norge 29. juni 1999.