律宗の開祖である鑑真が天平勝宝6年(754年)朝廷に招かれ奈良に向かう途中に当地を訪れて開創し、そののち弟子で東大寺戒壇院の恵雲がお堂を建立し屋島寺と称し初代住職になったという。