由其堂弟德川宗胜继承尾张藩。宽政11年（1800年），尾张藩第十代藩主德川宗睦去世，他的两个亲生子、四位养子都先于他死去，除去其他出继其他氏族的旁系成员，义直的嫡系子孙就此断绝；因此由将军德川家齐之姪齐朝作为宗睦的后嗣。明治维新后，尾张德川家多次立婿养子为继承人，发生在1880年（第十八代）、1908年（第十九代）、以及1955年（第二十一代）。其中，义礼为高松藩松平赖聪次子，于明治十七年（1884年）被列为华族（贵族）并被封为侯爵。出身的义亲是松平春岳四子，设立财团法人尾张德川黎明会（今为德川黎明会）