（大正11年）去世后，其长子吴东碧始从中国大陆返台，并依遗嘱在今太平冬瓜山兴建吴家花园与墓园（今存吴鸾旂墓园）。1935年吴东碧将吴氏公馆卖给有生意往来的基隆颜家颜钦贤，颜再捐给日治时期的市府作农校用地，1943年曾做为台湾总督府台中高等农林学校（今国立中兴大学）的临时宿舍，后改作孔庙用地，但孔庙始终未动工。中华民国接管台湾后，公馆就被百余违建户佔住，后经台中市议会审议将公馆标售，1983年仅将更楼部份迁建于台中公园内，公馆则于1985年经法院判决强制拆除夷为空地。