据寺传，是在奈良时代中期的天平胜宝年间（749年756年），由报恩大师所创设的备前四十八个寺其中之一。之后衰亡，到鎌仓时代末期嘉元2年（1304年），由大和国般若寺的僧侣信贤再兴，重整了伽蓝。此时的寺院名称相传是胜乐寺。到江户时代初期的元和元年（1615年），因为火灾伽蓝烧毁了。到江户中期与后期之间，因冈山藩主池田家的庇护之下，再度重整了寺院，安置了池田家歴代牌位。寺院附近有藩的学者熊沢蕃山隐居的房屋遗迹。此地原本称为寺口村，但据说是蕃山隐居之地的原因而改称为蕃山村（日语：しげやまむら）。