英国政治圈贵族考察关注后，返回日本与山内丰诚、正亲町公董、平松时厚商讨创建华族间团体，到1873年 (明治6年)尾成立「麝香间祗候会议」，并在1874年 (明治7年) 6月正式成立华族会馆。1927年（昭和2年）从过往1897年起使用的原址鹿鸣馆移至霞关所在，1967年（昭和42年）移入现今地址。亦自1947年改为霞会馆的名称，除了所在地霞关关系，亦因初代馆长有栖川宫炽仁亲王有「霞堂」的雅称。