伝承として、『興福寺官務牒疏』(嘉吉元年(1441年))では、推古天皇29年(621年)に山背大兄王が創建して「観音寺」と称されたが、その後に橘諸兄が再建したとする。