称，在江户时代曾是高松藩松平家的下屋敷。明治时期，大日本帝国陆军曾在此设有火药库。该地后成为皇室财产。朝香宫一家离开官邸后，在吉田茂执政时期，该建筑于1947年至1950年期间成为外务大臣官邸（但由于吉田兼任首相和外相职务，因此该建筑实际上也是总理大臣临时官邸）。1950年，该建筑以700万日元的价格出售给西武铁道，并在1955年4月作为白金王子迎宾馆（）开业。至1974年，该建筑都作为外宾来日时的迎宾馆使用。1971年时，曾有将该建筑改建为酒店的计划，但发生反对运动。1974年5月后，该建筑一度作为总