长男。幼名万丸、小传次。文禄3年（1594年），母亲龟之方成为德川家康的侧室。翌年（1595年），龟之方诞下仙千代。庆长5年（1600年），龟之方诞下五郎太丸（后来的德川义直）。此后，被召出并担任近仕。翌年（1601年），被赐予甲斐国5千石。在家康成为大御所并移至后，与本多正纯、安藤直次、成濑正成一同成为侧近。庆长12年（1607年），与成濑一同被任命为义直的后见。受加增尾张5千石，领有1万石。庆长16年（1611年），叙任从五位下山城守。因为当时的尾张藩执政平岩亲吉在没有继嗣的情况下死去，于是以22岁之龄