熙年间进士刘云汉购置的义地，义地北部有祠堂，供悼念及停灵柩用。清朝嘉庆年间，义地迁到左安门内龙潭湖地区，香山会馆始在此建成。光绪五年（1879年），广东省香山县同乡扩建香山会馆，购到附近部分房屋及空地。光绪二十一年（1895年），在朝鲜任职的香山籍官员唐绍仪回到北京后寓居这里，并且筹集资金扩建香山会馆。三年后，扩建工程完工，建成了带有戏台、花园、回廊、假山等建筑的大型会馆。1912年夏，孙中山第二次到北京，应同乡会之邀，到粤东会馆出席了欢迎会，并在中山会馆花厅吃午饭。住在中山会馆的老住户回忆称：听说孙中