19日被免去老中的职务，再减封至上总大多喜藩（2万石），在之后的宽永2年（1625年）被除封，经下总国网户、相模国沟乡、远江国小林，最后在相模国今泉蛰居。在秀忠死后被邀请再次出仕，不过拒绝。在宽永20年（1643年）死去，享年66岁。墓所在神奈川县相模原市的天应院。