寺倾倒十余年，直至牛斗山首事郭濯海接手重建，历时四年方在咸丰五年（1855年）完成。1904年的斗六地震、1906年的梅山地震，再度使紫云寺倾倒十余年，于1920年由第二任管理人林勐与曾任通事及公田庄区长的刘阔主持重修，在1923年完成。但1941年的中埔地震，使甫修完毕的紫云寺夷为平地。1947年，刘阔之子刘再生与林勐之子林橘完成第四次重修，之后紫云寺建筑一直保留到至今，期间虽翻修屋顶，不影响建筑本体。战后，本寺本为比丘尼天乙法师等比丘尼所主持。1985年由内政部公告为第三级古蹟，受《文化资产保存法》