父亲赵廷美被徙置房陵，淳化初年，朝廷授他右监门衞将军一职，后曾任滑州观察使及受封冯翊郡公。史籍记载赵德文个性好学，经常抄写经史百家，宋真宗曾戏称他为「五秀才」；当宋真宗封禅泰山、祭祀汾阴和临幸亳州时，他也会奏上赋颂。天圣年间，赵德文迁任横海军节度观察留后，又授予昭武军节度使，后改授感德军、武胜军，同时加任中书门下平章事。宋仁宗因尊重他而不称唿其名字，只称唿「五相公」。庆历四年（1044年），朝廷以赵德文是宗室之长，晋为东平郡王，加兼侍中。当他患病时，宋仁宗亲自调理药汤给他喝，到庆历六年（1046年）