时的台湾会馆院落较小，又位于老城区，所以车辆无法进入，人员出入不方便。所以有些人认为可以易地重建，但更多的台胞则希望将会馆保留下来。2006年全国两会上，许多台湾籍的全国人大代表、全国政协委员提出保留台湾会馆的愿望，引起台胞共鸣。2006年3月，台湾中国统一联盟副主席王晓波来到大陆参访，了解了台湾会馆的困境后，王晓波与北京市台联办公室主任郑大一起来到台湾会馆。当时大江胡同的拆迁工作已启动，台湾会馆周边都是拆迁后老房屋的废墟。王晓波在瓦砾中拾起两片瓦片、抓起一把泥土说：“我要把它带回台湾，让更多人关心它（台湾