大隅国設置前(日向国の一部であった時代)の708年に創建されたと伝えられており、日向三薬師(他には高岡法華薬師・帖佐米山薬師)のひとつとされた。