翌年（1543年）7月2日，赖继参与武田氏的诹访侵攻，于是进攻诹访赖重的本据地（现今长野县诹访市）。赖重向武田方降伏，在同年7月被护送至甲府自杀（『高白斋记』、『守矢赖真书留』）。诹访领被武田氏分割，赖继支配西半分，但是以成为诹访氏惣领为志向的赖继与的藤泽赖亲等人侵攻武田的领地，在同年9月25日于河边被武田军击退，于是从诹访退去（『高白斋记』）。武田军更进攻伊那的藤泽赖亲和小县郡的大井贞隆等人。天文14年（1545年）4月17日，高远城亦被攻陷，赖继亦向武田军降伏并前往甲府出仕（『高白斋记』）。高远城在