务大臣官邸使用，高松宫邸移动至芝区高轮西台町（现为港区高轮一丁目）的高轮御殿（高轮御所）。高轮御殿在1891年（明治24年），原定为明治天皇第六皇女・常宫昌子内亲王与第七皇女・周宫房子内亲王的住所，1915年（大正4年）至1924年（大正13）为皇太子裕仁亲王的东宫御所。转为高松宫邸的高轮御殿，宫内省内匠寮设计的洋式本馆与和馆于1931年（昭和6年）竣工。本馆的外观为都铎式様式，内部为折衷样式。1楼是作为公室的谒见室、大食堂、新食堂（茶会・晩餐会使用）等，2楼则是作为私室使用的殿下御书斋、妃殿下御居间等