三年（1657年）一月，江户发生火灾，半个江户都付之一炬，纲吉在竹桥的宅邸也被烧毁。而此火灾即是「明历大火」。九月，纲吉移居神田。宽文元年（1661年）八月，纲吉公成为上野国馆林藩藩主，领二十五万石。十二月，叙任参议，这时纲吉被称为馆林宰相（参议别称宰相）。宽文九年（1670年），牧野成贞被拔擢为馆林藩家老，领三千石。
继任将军.延宝八年（1680年），纲吉的兄长，四代将军德川家纲在没有子嗣的情况下生了一场大病。由于纲吉的兄长德川龟松（家光次子）夭折，德川纲重早逝，因此纲吉成为