说改名五郎太丸是因为当时伏见成在筑城墙，筑城墙所用的石头就叫做五郎太石，因此才取名五郎太丸，而这个名字也是家康亲自命名。而五郎太丸元服后本来叫做义知，后改为义利，最后才是义直。五郎太丸小的时候和弟弟纪州德川家初代长福丸（赖宣），水户德川家初代鹤千代（赖房）一起，在骏府城由家康亲自抚养。庆长八年（1603年），四岁领甲斐国府中藩二十五万石。庆长十一年（1606年），才六岁的五郎太丸元服，改名为义利。翌年，庆长十二（1607年）年时，兄长忠吉（家康四子）病逝。由于忠吉并没有子嗣（一子早逝），义利转封尾张