はじめ世子は嫡子(正室の子で次男)の義休と決まっていたが、義休は寛政4年(1792年)9月25日に江戸にて乱心し、樅木九郎兵衛を斬り殺害したため(樅木は事件の二日後に死去)、寛政5年(1793年)1月28日に廃嫡され(系図には病のためと記されている)、代わって頼徳が世子に指名された。