Under andre verdenskrig og tysk okkupasjon var kongefamilien i eksil. Slottet ble fra februar 1942 brukt som kontor for Vidkun Quisling og hans regjering, og det ble da kalt «Oslo Slott».