564年）离婚再娶丰后国大友义镇的次女并与大友氏结交。然而为了争夺伊予国霸权，于永禄11年（1568年）在丰纲的支援下于伊予进出，但是与有安艺国的毛利氏援兵的河野氏战斗并大败。还与京都的一条家本家（当主是兼冬的弟弟内基）渐渐疏远。这段时期土佐国的长宗我部元亲开始抬头，虽然与妹婿安艺国虎唿应并讨伐元亲，但是国虎反而在永禄12年（1569年）被元亲讨杀。之后被长宗我部氏侵食领土，还因为无故杀害重臣土居宗珊而失去信望，在其他三家老羽生监物、为松丰后守、安并左京进等人合议下于天正元年（1573年）9月被强制隐居