1850年左右，华人抵达奥罗维尔后不久，即汇集了现有资源，于该地区建造了第一座华人庙宇。这座木架构的寺庙后被烧毁，重建后的第二座建筑亦被烧毁。第三个建筑由同治皇帝资助，乃由红砖建成，于1863年9月完工，该建筑现存至今。多年来，该结构经受了许多火灾和洪水，然而，于1907年，大规模洪水造成的破坏不仅影响了寺庙，也影响了整个奥罗维尔地区。这场灾难加上当时美国出现的大萧条导致大量华人由该地区流向其他较大的城市或返回中国。直到1930年代，留下的华人继续维持该庙宇（尤其是陈氏家族）。1930年代期间，该家