その後堂宇は縮小したが、230年後の弘仁8年(817年)、空海(弘法大師)が高野山巡錫のみぎり、この霊場に詣で、その衰退を悲嘆し、杖を立てそれが朽ちないうちに再建の願いを立て上京し、勅許を蒙(こうむ)って来てみると杖は植木の如くになっていた。