在元和元年（1615年）成为本丸老职。在元和6年（1620年）领有5万5千石并成为岩槻城城主。不过因为忠俊不断对家光谏言，在元和9年（1623年）10月19日被免去老中的职务，再减封至上总大多喜藩（2万石），在之后的宽永2年（1625年）被除封，经下总国网户、相模国沟乡、远江国小林，最后在相模国今泉蛰居。在秀忠死后被邀请再次出仕，不过拒绝。在宽永20年（1643年）死去，享年66岁。墓所在神奈川县相模原市的天应院。