宫鸠彦王在巴黎游学后耗时两年修建的。至1947年退出皇籍之前，这座建筑都是朝香宫鸠彦王的官邸。自然教育园所在土地又有白金之称，在江户时代曾是高松藩松平家的下屋敷。明治时期，大日本帝国陆军曾在此设有火药库。该地后成为皇室财产。朝香宫一家离开官邸后，在吉田茂执政时期，该建筑于1947年至1950年期间成为外务大臣官邸（但由于吉田兼任首相和外相职务，因此该建筑实际上也是总理大臣临时官邸）。1950年，该建筑以700万日元的价格出售给西武铁道，并在1955年4月作为白金王子迎宾馆（）开业。至1974年，该建筑都