出西楼创办私立淑德女子初等小学（后改为淑德小学），1938年5月其孙林尧又将其东楼住处用作中共台属临时特委驻地，至1940年5月中共台属特委撤离并迁往平田乡桐树坑村（今桐树坑革命纪念馆）。1999年建筑因旧城改造和建设世纪大道而拆除，2011年选定城西五洞桥西端北侧原西江小学处为新址易地复建，复建工程自2013年6月开工，次年3月竣工，现为陈列中共台属特委有关史迹，同时集中陈列、演示黄岩区各级非物质文化遗产的黄岩非物质文化遗产展示馆。该建筑为温黄平原典型的五凤楼式传统民居，占地面积3366.95平方米，