武田军更进攻伊那的藤泽赖亲和小县郡的大井贞隆等人。天文14年（1545年）4月17日，高远城亦被攻陷，赖继亦向武田军降伏并前往甲府出仕（『高白斋记』）。高远城在此后被武田氏改修并成为支配信浓的据点。天文17年（1548年）2月14日，武田军在与小县郡的村上义清的战斗中败退（上田原之战），以及同年7月因为诹访西方众谋反等，令武田支配的领域产生动摇（『高白斋记』、『胜山记』），不过赖继在同年4月3日从甲府返回高远城（『高白斋记』）。后来再次仕于武田家。在天文21年（1552年）8月16日死去（一说是自杀）。