乡的等投向武田方，高梨氏陷入被围攻的危机（第三次川中岛之战）。在第四次川中岛之战前的永禄2年（1559年）3月，武田家的海津城城代春日虎纲（高坂昌信）攻陷。失去根据地后，被逼后退至。高梨氏作为独立的国人领主，渐渐失去势力，并变为依赖长尾氏（翌年改姓上杉氏）。永禄4年（1561年），在上杉政虎向后北条氏领国关东侵攻时，留在饭山城。同年9月，参加第四次川中岛之战，与儿子秀政、赖亲等人一同奋战，不过没有恢复旧领。晩年详细不明。亦有说法指是在第四次川中岛之战前死去。