配领国的实力大不如前，不过仍然与铃木重胜同样，继续臣从于今川氏。不久，在德川家康开始以远江国为目标后，受家康怀柔而背离今川氏。永禄11年（1568年）末，在家康攻入远州时，令儿子秀用从军，自身则以老龄，以及长年的战伤而歩行困难等为理由，没有从军。在天正16年（1588年）于井伊谷死去。享年72岁。