その後、頼純は側室であった太田氏(観樹院)を寵愛し、その間に出来た頼致を可愛がるようになる。