共有8万5千石。元和9年（1623年），在秀忠的嫡子被确定是竹千代（德川家光）后，家光的家老内藤清次死去后，与从弟忠胜一同成为家光的年寄众。而秀忠的年寄则由井上正就和永井尚政出任。宽永9年（1632年）5月，作为松平康长的后任而成为西之丸留守居，从江户城大桥外与家臣一同移到秀忠的旧屋敷西之丸。在7月于家光参拜增上寺之际中风并晕倒，被家光命令休养。之后恢复参与幕政，但是在宽永11年（1634年）6月家光率30万大军上洛之际，于7月在西之丸发生火灾，忠世上报此事后，被家光命令退去宽永寺而失势。向德川御三家请