Sunpu Castle
在忠輝被改易後，沒有遭到連座，而是被召回幕府並仕於德川秀忠。翌年（1617年），以譜代大名的身份拜領2萬6千石，並成為下總關宿藩藩主。元和5年（1619年），移至遠江横須賀藩，兼任駿河國駿府城的城代。在元和6年（1620年）於駿府城下死去。享年72歲。法名是松岳院殿雄譽助白大居士。墓所在駿府（現今靜岡縣靜岡市葵區大鋸町的西福寺）。繼承人是嫡男重忠。