寺伝によれば、もとは真言宗もしくは天台宗寺院で、天平17年（745年）に行基が大石が裂け一夜にして生えた萩木から本尊の十一面観音を彫刻し、開山したと伝えられている。
源起于天平(圣武天皇)17年(745年)，行基以在巨石断裂后一夜生成之萩木所雕塑成十一面观音，作为开山传说。