前往高田向上使兼儿子的胜隆交出领地时，要作出拜伏的动作。在忠辉被改易后，没有遭到连座，而是被召回幕府并仕于德川秀忠。翌年（1617年），以谱代大名的身份拜领2万6千石，并成为下总关宿藩藩主。元和5年（1619年），移至远江横须贺藩，兼任骏河国骏府城的城代。在元和6年（1620年）于骏府城下死去。享年72岁。法名是松岳院殿雄誉助白大居士。墓所在骏府（现今静冈县静冈市葵区大锯町的西福寺）。继承人是嫡男重忠。