土岐頼芸
なお、同年6月22日、第12代将軍・足利義晴の執奏により、修理大夫に任官され、翌天文5年(1536年)、勅許により美濃守に遷任されて正式に守護の座に就いた。
同じ頃、対立関係の六角定頼から娘を娶って六角氏と和睦した頼芸は、美濃争乱の収束化に成功し、天文8年(1539年)には頼純との間に和議が成立した。天文10年(1541年)、重臣の斎藤道三が頼芸の弟・頼満を毒殺する事件が起こり、これ以降は道三との仲が険悪となり、次第に対立することになった。
天文11年(1542年)、頼純の籠もる大桑城が落城し、鷺山城へ移る。またこの年、頼芸は子の頼次ともども道三により尾張国へ追放された。
頼芸は尾張国の織田信秀の支援を得て、越前国で朝倉孝景の庇護下にいた頼純と連携し守護の座に復帰するが、まもなく天文15年(1546年)、道三と孝景が和睦し、その和睦の条件が頼芸の守護退任であったため、頼芸は守護の座を頼純に明け渡した。さらに天文17年(1548年)、信秀と道三が和睦したことによって後盾を失い、天文21年(1552年)頃、再び道三に追放され、妹の嫁ぎ先である近江国の六角氏、続いて実弟の治頼がいる常陸国に寄寓し、この時治頼に系図や家宝を譲り渡したという。次いで上総国の一族の土岐為頼(万喜為頼)を頼り、後に甲斐国の武田氏に身を寄せる。この間に病によって失明する。
この間に大勢力となっていた織田信秀の子の織田信長による甲州征伐の際、武田氏に庇護されていた頼芸が発見された。頼芸の旧臣でもあり当時織田麾下であった稲葉一鉄のはからいで美濃国に戻り、半年後の天正10年12月4日(1582年12月28日)に死去したといわれている。享年81。