祖籍涿郡（今河北省保定市清苑县）人，宋朝宗室、魏悼王赵廷美的第八子。
生平.赵德文早年跟随父亲赵廷美被徙置房陵，淳化初年，朝廷授他右监门衞将军一职，后曾任滑州观察使及受封冯翊郡公。史籍记载赵德文个性好学，经常抄写经史百家，宋真宗曾戏称他为「五秀才」；当宋真宗封禅泰山、祭祀汾阴和临幸亳州时，他也会奏上赋颂。天圣年间，赵德文迁任横海军节度观察留后，又授予昭武军节度使，后改授感德军、武胜军，同时加任中书门下平章事。宋仁宗因尊重他而不称唿其名字，只称唿「五相公」。庆历四年（1044