千代（德川家光）后，家光的家老内藤清次死去后，与从弟忠胜一同成为家光的年寄众。而秀忠的年寄则由井上正就和永井尚政出任。宽永9年（1632年）5月，作为松平康长的后任而成为西之丸留守居，从江户城大桥外与家臣一同移到秀忠的旧屋敷西之丸。在7月于家光参拜增上寺之际中风并晕倒，被家光命令休养。之后恢复参与幕政，但是在宽永11年（1634年）6月家光率30万大军上洛之际，于7月在西之丸发生火灾，忠世上报此事后，被家光命令退去宽永寺而失势。向德川御三家请求赦免，在宽永11年12月被允许登城，在翌年2月家光面见忠世，