Una de ellas dice que los artesanos no fueron capaces de reconstruir una de las torres tras ser desmantelada para restauraciones durante la dinastía Qing, y solo pudo ser rehecha por la intervención del carpintero inmortal Lu Ban.