术馆曾是朝香宫鸠彦王的住宅，因此又称旧朝香宫邸。
历史.东京都庭园美术馆位于内，是香淳皇后叔父朝香宫鸠彦王在巴黎游学后耗时两年修建的。至1947年退出皇籍之前，这座建筑都是朝香宫鸠彦王的官邸。自然教育园所在土地又有白金之称，在江户时代曾是高松藩松平家的下屋敷。明治时期，大日本帝国陆军曾在此设有火药库。该地后成为皇室财产。朝香宫一家离开官邸后，在吉田茂执政时期，该建筑于1947年至1950年期间成为外务大臣官邸（但由于吉田兼任首相和外相职务，因此该建筑实际上也是总理大臣临时官邸）