ところが、徳治2年(1307年)に興福寺と領土問題で対立、興福寺衆徒が神木を奉じて強訴する騒ぎに発展したため、徳治3年(1308年)7月に尾張国に配流され、2年後の延慶3年12月24日(1311年1月22日)に失意の内に死去。