天文10年（1541年）、重臣の斎藤道三が頼芸の弟・頼満を毒殺する事件が起こったため、これ以降道三との仲が険悪となり、次第に対立する。
天文10年（1541年），发生重臣斋藤道三毒杀赖艺的弟弟赖满的事件，于是与道三的关系险恶，双方渐渐对立。