州藩第7代藩主德川宗将的第六子，幼名金十郎。安永四年（1775年），纪州藩藩主德川重伦（赖谦的兄长）隐居，由于重伦的长子弥之助早逝，次子岩千代（即后来的治宝）又年幼，因此以原西条藩藩主松平赖淳（赖谦的叔父）继承纪州藩，西条藩则以赖谦作养嗣子继承。宽政七年（1795年）赖谦让位给长子赖看并隐居，到文化三年九月初二（1806年10月13日）赖谦逝世，享年52岁。