昭弹劾之，但玄宗不纳。姚元之被拜为宰相，张说被贬。开元元年（713年），赵彦昭被任为朔方道大总管。用幽都县尉徐秀为判官。开元二年（714年），御史中丞姜晦指出中宗驾崩时宰相韦后堂兄韦温、宗楚客等篡改中宗遗诏免去睿宗的共同摄政权，时任宰相赵彦昭、韦嗣立、韦安石、李峤不作匡正，命殿中侍御史郭震弹劾他们。郭震还进一步弹劾赵彦昭勾结赵五娘事。这些前宰相都被贬，赵彦昭贬袁州别驾。姚崇（即姚元之）拜相后，很厌恶赵彦昭为人，又多次贬他至江州别驾，卒于任上，但时间不详。
轶闻.《唐语林》载