散，日本当局打算焚毁神像。但在信徒恳求之下，当局表示如果被綑绑且悬空的神舆在三昼夜间若有移动则可不被焚烧，不然仍会照原命令烧毁。结果在第三天早上有两只狗闯入撞到神舆使神舆摇晃，于是最后神像躲过一劫没被焚化。另有说法是在西来庵被拆前，有信徒将神像送到竹溪寺，而西来庵开基五部灵公神像仍保存在竹溪寺。
重建.1945年二次世界大战结束后，因为西来庵原址土地已经易手并兴建其他设施，檀越施主陈清吉等人于牛磨后的正兴街50号重建庙宇。后来因为正兴街拓宽工程，庙方在1993年拆除庙宇，将神像