当寺の創建事情については必ずしも明らかではないが、寺伝では天平7年（735年）、聖武天皇の勅願により良弁（奈良東大寺の初代別当）を開山として藤尾山観音寺という寺号で開創したという。
但根据寺传记载，海住山寺是在天平七年（公元735年）奉圣武天皇之愿，以藤尾山观音寺为寺名，由良弁和尚开山创立。