寺伝によれば奈良時代、聖武天皇の時代の神亀年間(724年-728年)、行基により開創されたという。