义元侵攻尾张之际与元康一同进攻织田氏的丸根砦并立下功绩。后来今川义元在桶狭间之战中被织田信长杀死，此后元康独立。在永禄6年（1563年）家康进攻吉田城时立下功绩，更在小坂井之战中与今川氏战斗而立下许多武功。同年，三河一向一揆爆发，在此时背叛家康而加入一揆方。之后在胜万寺之战中与家康方的大久保忠政战斗，在此战中获得胜利。但是在家康亲自攻来时战败并逃走。永禄7年（1564年），一揆被家康镇压，经大久保忠政的仲介后向家康降伏，于是罪行被原谅并再次成为家康的家臣。在同年6月再度参与家康进攻三河吉田城的战事，