その後、姻戚関係にあった一条氏と結んで河野氏と対立するも、1568年（永禄11年）に毛利氏の援軍を受けた河野氏との鳥坂峠の戦いにて大敗した。
之后与有姻亲关系的一条氏结盟与河野氏对抗，永禄11年（1568年）在得到毛利氏援军的河野氏在鸟坂峠合战中战败。