木征的后裔，被宋朝赐姓赵氏。高祖父赵巴命是金朝熙河路节度使、迭州安抚使，曾祖父赵阿哥昌归顺蒙古，官至叠州安抚使。祖父赵阿哥潘，随元世祖征云南，任临洮府元帅。其父赵重喜。《元史》记载赵德寿是赵重喜之孙，官卓斯结之子。元惠宗至正四年（1344年），赵德寿由兵部尚书升任为中书参知政事，后来改任云南行省左丞。