日，福与城再受攻击。与在的妻兄兼信浓守护小笠原长时结盟，以抵抗武田军。翌年4月，在高远合战后，武田氏攻略高远城，并包围福与城。同年6月10日，与武田氏达成和睦，接受武田众的穴山信友、小山田信有、胜沼信友等人劝告，以弟弟权次郎为人质，向武田氏降伏，在写下起请文，并加入信友之下。此后，通过与武田氏连络。天文17年（1549年），武田氏在上田原之战败北，于是与连结，再次背叛武田氏，不过通过信友向武田氏降服。天文23年（1555年），与小笠原氏一同上洛，仕于三好长庆。在长庆死后，返回旧领箕轮，并建筑田中城为居城