成为西之丸留守居，从江户城大桥外与家臣一同移到秀忠的旧屋敷西之丸。在7月于家光参拜增上寺之际中风并晕倒，被家光命令休养。之后恢复参与幕政，但是在宽永11年（1634年）6月家光率30万大军上洛之际，于7月在西之丸发生火灾，忠世上报此事后，被家光命令退去宽永寺而失势。向德川御三家请求赦免，在宽永11年12月被允许登城，在翌年2月家光面见忠世，5月复职西之丸番，但是没有恢复老中职。在65歳时逝世。后继的长男忠行在不久后亦死去，于是由嫡孙忠清继任家督。