广会馆的原址曾是清朝官员和名人的故居。据史料记载，干隆、嘉庆年间大臣在此居住过，如刘权之、王杰等等。嘉庆十二年（1807年），在京官员刘权之（刘云房，湖南长沙人）、李均简（李秉和，湖北黄冈人）等人倡议在此修建湖广会馆。道光十年（1830年）年初团拜时，蒋祥墀（蒋丹林）、何凌汉（何仙槎）倡议集资扩建戏楼，作为湖广同乡集会、公宴的场所。同年，叶继雯（叶云素）将监馆私宅捐给湖广会馆，使湖广会馆面积扩大。道光二十九年（1849年），曾国藩等人倡议重修，设置亭榭等建筑，总面积扩大到约4700多平方米。同治九年（187