将其困于高远一带。最终，武田氏佔领了整个诹访郡。天文12年（1543年）5月，晴信修筑上原城，并且让信方作为诹访郡代留守。天文13年（1544年）10月，赖继得到藤泽赖亲和小笠原长时的支援，再次举兵攻击晴信，但是在天文14年（1545年）4月的高远合战中不敌于武田军，从而臣服于武田氏。