I 1909 bosatte prins Harald og ektefellen seg i Nordsjælland på Schæffergården, som da ble omdøpt til Jægersborghus. Den het Ibstrup da dronning Margrethe 1. kjøpte den på 1400-tallet. I 1918 flyttet de til en nybygd villa på 721 m² og 18 rom, på Svanemøllevej 25 som ble hetende «prins Haralds palé» i 1918 samme år.