三子，母亲是侧室宫崎氏。乳名长七。
生涯.延宝八年（1680年）出生，是光贞的庶三子。元服后，因为是庶子，因此被赐予苗字松平，正式改名为松平赖元，后来，又改名为松平赖职，任从四位下左近卫权少将。元禄十年（1697年），封越前国丹生郡高森藩三万石，成为纪州德川家的分支（分家）。宝永二年（1705年），赖职的兄长，第三代藩主德川纲教突然生了一场大病。当时，纲教并没有子嗣。所以赖职便以纲教养嗣子的身分，恢复德川姓。同年五月，纲教去世，享年四十岁。赖职继承藩主之位，成为纪伊藩第四代藩主