产生动摇（『高白斋记』、『胜山记』），不过赖继在同年4月3日从甲府返回高远城（『高白斋记』）。后来再次仕于武田家。在天文21年（1552年）8月16日死去（一说是自杀）。法名是大用普彻禅定院。以前的说法认为高远氏从赖继死去后灭亡，不过根据近年在高野山成庆院发现的『甲斐国过去帐』记载，在永禄5年（1562年）继承诹访惣领家的是信玄的四男胜赖，因此被认为是继承了高远诹访家。