三年冬，加检校太尉，封潭王。太平兴国四年（979年），德芳之兄赵德昭被宋太宗逼迫自杀。太平兴国六年（981年）赵德芳病死，英年早逝，年二十三。因为赵德芳兄弟在短时间内连续死亡，今日历史学家多半认为德芳死因不单纯，定与宋太宗有关。德芳死后，谥康惠，赠中书令、岐王。后加封太师，改封楚王。宋徽宗时改为秦王。其六世孙为宋孝宗，七世孙为宋光宗，八世孙为宋宁宗。
家庭.
妻.焦氏：河南知府、彰德(相州)节度使、右武卫上将军焦继勋之女，惟叙、惟宪生母卫国夫人符氏，符