稙通死后就臣属于三好长庆。最初自身亦仕于三好氏，在正亲町天皇即位仪式时亦有列席。不过在长庆死后的永禄9年（1566年），夺回波多野家的居城，并以战国大名的身份独立。而且把女儿嫁予播磨国的别所长治，双方结成同盟。永禄11年（1568年），在织田信长奉足利义昭并上洛后，臣服于织田氏。天正3年（1575年），加入信长派遣而来的明智光秀的军势，负责讨伐丹波国内对抗织田氏的豪族，不过暗中向丹波国的豪族传达联手的信息。天正4年（1576年）1月，突然背叛并攻击光秀的军势，并将其撃退（黑井城之战）。对此激怒的信长