昭和戦前は離宮(赤坂離宮)となり、皇族の集会施設、満洲国皇帝溥儀ら国賓の宿舎として用いられた。