1872年(明治5年)に山科檀林が廃止されると、20年間住職が常住せず境内は荒れ果てた。