，原庙宇在管理人蒋襟三与钱云樵代表之下，于大正五年（1916年）3月「捐赠」给财团法人台南公馆。后来西来庵旧庙在昭和五年（1930年）被「台南州购买组合」所使用，后于昭和九年（1934年）拆除改建为四层楼建物。而旧庙拆除之后，有部分建材卖给了正在重建的神兴宫，故该庙保有部分西来庵的建筑构件。二次大战期间，台南州购买组合的四层楼建物在昭和十六年（1941年）改为配给物资处所，并在昭和二十年（1945年）3月的轰炸中受损。
神像下落.关于西来庵事件之后，西来庵供奉的神像下落，有数种