军上洛之际，于7月在西之丸发生火灾，忠世上报此事后，被家光命令退去宽永寺而失势。向德川御三家请求赦免，在宽永11年12月被允许登城，在翌年2月家光面见忠世，5月复职西之丸番，但是没有恢复老中职。在65歳时逝世。后继的长男忠行在不久后亦死去，于是由嫡孙忠清继任家督。