那时，将军家纲一直没有子嗣，也因此纲丰的祖母顺性院（祖父家光的侧室，父亲纲重的生母）一直把纲丰培育成足以继任第五代将军的人。延宝8年（1680年）家纲在没有任何男嗣的情况下去世，享年四十岁。而继承第五代将军就有了两个人选，即是纲重的弟弟，馆林藩藩主德川纲吉和纲丰。不过因为堀田正俊提出说与家光血缘近的纲吉比较适合，也因此纲丰并没有成为第五代将军。但是五代将军纲吉在长子德松夭折之后，也不再有子嗣，因此纲吉的女婿德川纲教（纲吉长女鹤姬的丈夫）和纲丰自然被当作是第六代将军的候选人，不过在鹤姬死后一年的宝永2