Prins Harald og hans hustru prinsesse Helene flyttet inn på Schæffergården 16. juni 1909 og gav eiendommen navnet Jægersborgshus. Harald (1876-1949) var sønn av Frederik VIII og bror til kong Christian X av Danmark og kong Haakon VII av Norge. Han ble gift 1909 med sin halvkusine prinsesse Helene av Slesvig-Holsten-Sønderborg-Glücksborg. Paret fik fem barn, bl.a. prins Gorm og den senere arveprinsesse Caroline-Mathilde, som levde sine første åtte år på Schæffergården. Prins Harald valgte en militær karriere som gardehusar. Med Harald fikk Schæffergården endelig den funksjon som kongelig residens som Didrik Schæffer hadde tiltenkt den. Med den nye verdigheten fulgte også navnebytte til Jægersborghus.