寺に伝わる『金山観音寺縁起』（室町時代の成立）によれば、当寺は奈良時代の天平勝宝元年（749年）に報恩大師が孝謙天皇の勅命により開創し、後に報恩開創の備前四十八箇寺の根本道場となったという。
馀庆寺据说是于天平胜宝元年（749年）由报恩大师所开创，一开始称为日待山日轮寺，后成为报恩大师开创的备前48寺之1而香火鼎盛。