被武田氏分割，赖继支配西半分，但是以成为诹访氏惣领为志向的赖继与的藤泽赖亲等人侵攻武田的领地，在同年9月25日于河边被武田军击退，于是从诹访退去（『高白斋记』）。武田军更进攻伊那的藤泽赖亲和小县郡的大井贞隆等人。天文14年（1545年）4月17日，高远城亦被攻陷，赖继亦向武田军降伏并前往甲府出仕（『高白斋记』）。高远城在此后被武田氏改修并成为支配信浓的据点。天文17年（1548年）2月14日，武田军在与小县郡的村上义清的战斗中败退（上田原之战），以及同年7月因为诹访西方众谋反等，令武田支配的领域产生动摇