闯入撞到神舆使神舆摇晃，于是最后神像躲过一劫没被焚化。另有说法是在西来庵被拆前，有信徒将神像送到竹溪寺，而西来庵开基五部灵公神像仍保存在竹溪寺。
重建.1945年二次世界大战结束后，因为西来庵原址土地已经易手并兴建其他设施，檀越施主陈清吉等人于牛磨后的正兴街50号重建庙宇。后来因为正兴街拓宽工程，庙方在1993年拆除庙宇，将神像暂时安奉于正兴街27号。1998年信徒杨耀成捐献庙地，次年开始动工重建，于2001年落成。新庙保存西来庵旧庙的一对石柱，上面刻有「鉴察是非阴阳皆一理