在捕鱼时，于当时海域附近打捞到了观音像，将这个观音像供奉在附近沙滨上的堂舍为本寺的开端。有一说认为这个观音像，是敏达天皇14年（585年），由物部守屋、中臣胜海投向海里的三尊佛像之一（圣观音）。其余两尊，分别为善光寺的阿弥陀佛，安乐寺（太宰府天满宫）的势至菩萨。龙麻吕以自己的名字「はだめでら」作为寺堂名称，写作「波陀米泥良」，被写作「甚目寺」则应该是中世起。但根据传说，透过上述的创建经纬，佛教考古学者石田茂作的研究认为，实际上该寺历史可追溯到奈良时代以前，天智天皇生病时，曾至甚目寺祈祷而病癒。因为此事，甚目