后继承东京市麹町区三年町（现为东京都千代田区永田町，内阁府厅舍附近）的有栖川宫邸。至昭和年间，随着三年町的本邸转做外务大臣官邸使用，高松宫邸移动至芝区高轮西台町（现为港区高轮一丁目）的高轮御殿（高轮御所）。高轮御殿在1891年（明治24年），原定为明治天皇第六皇女・常宫昌子内亲王与第七皇女・周宫房子内亲王的住所，1915年（大正4年）至1924年（大正13）为皇太子裕仁亲王的东宫御所。转为高松宫邸的高轮御殿，宫内省内匠寮设计的洋式本馆与和馆于1931年（昭和6年）竣工。本馆的外观为都铎式様式，内部为