元服，任从三位中将。领兄长家纲的「纲」一字，正式改名为纲吉，并且领松平之姓。明历三年（1657年）一月，江户发生火灾，半个江户都付之一炬，纲吉在竹桥的宅邸也被烧毁。而此火灾即是「明历大火」。九月，纲吉移居神田。宽文元年（1661年）八月，纲吉公成为上野国馆林藩藩主，领二十五万石。十二月，叙任参议，这时纲吉被称为馆林宰相（参议别称宰相）。宽文九年（1670年），牧野成贞被拔擢为馆林藩家老，领三千石。
继任将军.延宝八年（1680年），纲吉的兄长，四代将军德川家纲在没有子嗣的情况下