「麝香间祗候会议」，并在1874年 (明治7年) 6月正式成立华族会馆。1927年（昭和2年）从过往1897年起使用的原址鹿鸣馆移至霞关所在，1967年（昭和42年）移入现今地址。亦自1947年改为霞会馆的名称，除了所在地霞关关系，亦因初代馆长有栖川宫炽仁亲王有「霞堂」的雅称。