贞的庶三子。元服后，因为是庶子，因此被赐予苗字松平，正式改名为松平赖元，后来，又改名为松平赖职，任从四位下左近卫权少将。元禄十年（1697年），封越前国丹生郡高森藩三万石，成为纪州德川家的分支（分家）。宝永二年（1705年），赖职的兄长，第三代藩主德川纲教突然生了一场大病。当时，纲教并没有子嗣。所以赖职便以纲教养嗣子的身分，恢复德川姓。同年五月，纲教去世，享年四十岁。赖职继承藩主之位，成为纪伊藩第四代藩主。八月，父亲光贞去世，享年八十岁。光贞一个月后，年轻的赖职逝世，得年仅二十六岁。由于赖职继承藩主