幕政には復帰しているが、寛永11年（1634年）6月、家光が30万の大軍を率いて上洛した際に、7月に西の丸が火災で焼失する事態が起こり、忠世は報をうけた家光の命により寛永寺に退去し、失脚する。
之后恢复参与幕政，但是在宽永11年（1634年）6月家光率30万大军上洛之际，于7月在西之丸发生火灾，忠世上报此事后，被家光命令退去宽永寺而失势。