后先迁至稻新街（今甘谷街），明治四十三年（1910年）再迁至城隍庙后街（今延平北路二段），扩张为连栋式二层楼街屋，可容纳百人宴会。供应支那菜（台菜）与西餐，用餐时除艺旦弹唱之外，还有专属乐队伴奏。四十四年（1911年）因被清廷通缉而流亡日本的梁启超，应林献堂之邀而来台访问，双方于东荟芳聚餐，梁于宴席上作有〈三月三日遗老百余辈设欢迎会于台北故城之荟芳楼，敬赋长句奉谢〉四首七律。大正二年（1913年）白因案系狱长崎，东荟芳由股东吴江山经营，后白与吴失和，六年（1917年）吴退股筹资开设「江山楼」。九年（1920