だが、寛仁年間に入ると、斉信に昇進を越されるようになり、娘の死も重なった結果、出家を決意する。