『今昔物語』によると、宝亀9年4月8日(ユリウス暦778年5月9日)に坂上田村麻呂が妊娠した妻の高子のために鹿を求めて東山に至ると、山中で大和国興福寺の僧で子島寺で修行していた賢心に会い、殺生の罪を説かれた田村麻呂は観音に深く帰依し、堂宇建立に協力を惜しまないことを誓って帰宅した。