守护武田氏和信浓国诹访郡的是同盟关系，但是在天文10年（1542年）6月于武田氏由武田晴信（信玄）成为当主后，晴信决定正式侵攻信浓，于是破弃与诹访氏的同盟并侵攻诹访郡。翌年（1543年）7月2日，赖继参与武田氏的诹访侵攻，于是进攻诹访赖重的本据地（现今长野县诹访市）。赖重向武田方降伏，在同年7月被护送至甲府自杀（『高白斋记』、『守矢赖真书留』）。诹访领被武田氏分割，赖继支配西半分，但是以成为诹访氏惣领为志向的赖继与的藤泽赖亲等人侵攻武田的领地，在同年9月25日于河边被武田军击退，于是从诹访退去（『高白斋记』