芝能楽堂
当初「皆楽社」として計画が進んでいた組織は、発起人に加わっていた前田斉泰と世話人の重野安繹の発案により「能楽社」として設立されることとなった(これが現在の「能楽」という言葉の起こりである)。社員としては華族48人が加わり、まずは演能の場となる舞台を建設することとなった。またこの舞台建設に当たっては、英照皇太后の鑑賞に供するという目的も掲げられた。
候補地としては上野公園なども挙がったが、ちょうど芝公園内に会員制の高級料亭「紅葉館」の建設計画が進んでおり、これと併設する形で創建されることとなった。
1880年(明治13年)10月、宮内庁内匠課技師の白川勝文の監督により着工。建設にかかった費用は当時の金額で1万8000円余りだった。岩倉は多忙の中毎日のように工事現場を訪れ、嵐窓の付け方、切戸の取っ手の彫り方といった細部に至るまで注文を付けたという。