伝承によれば、推古天皇5年（597年）、伊勢国の漁師である甚目龍麿（甚目龍麻呂、はだめたつまろ）が漁をしていたところ、当時海であったこの地付近で観音像が網にかかり、その観音像を近くの砂浜に堂を建て安置したのが始まりという。
根据传承，在推古天皇5年（597年），伊势国的渔夫甚目龙麿（甚目龙麻吕，日语发音为はだめたつまろ）在捕鱼时，于当时海域附近打捞到了观音像，将这个观音像供奉在附近沙滨上的堂舍为本寺的开端。