。九月，纲吉移居神田。宽文元年（1661年）八月，纲吉公成为上野国馆林藩藩主，领二十五万石。十二月，叙任参议，这时纲吉被称为馆林宰相（参议别称宰相）。宽文九年（1670年），牧野成贞被拔擢为馆林藩家老，领三千石。
继任将军.延宝八年（1680年），纲吉的兄长，四代将军德川家纲在没有子嗣的情况下生了一场大病。由于纲吉的兄长德川龟松（家光次子）夭折，德川纲重早逝，因此纲吉成为家纲的养嗣子，进入江户城二之丸。五月，家纲去世，享年四十岁。纲吉接受将军宣下，继承了将军一位，成为第五代将军