（981年）九月，如京使柴禹钖控告赵廷美骄恣，赵普又指使知开封府事李符，诬告赵廷美「不悔过，怨望，乞徙远郡，以防他变」。太平兴国七年（982年）赵廷美谪任西京留守，暗中与兵部尚书卢多逊勾结。事败，罢留守。降为涪陵县公。雍熙元年（984年）至房州（今湖北省房县），因忧悸成疾而卒。诏封为涪王，谥曰悼。咸平二年（999年）闰三月，改葬梁县新丰乡（即今陵头乡）。太子赵元佐与廷美感情最佳，廷美被逼死，元佐痛哭不能已，因而疯癫，宋太宗大怒，将元佐贬为庶人。宋真宗恢复赵廷美的秦王的爵位，宋徽宗追封赵廷美为魏王