、韦嗣立、韦安石、李峤不作匡正，命殿中侍御史郭震弹劾他们。郭震还进一步弹劾赵彦昭勾结赵五娘事。这些前宰相都被贬，赵彦昭贬袁州别驾。姚崇（即姚元之）拜相后，很厌恶赵彦昭为人，又多次贬他至江州别驾，卒于任上，但时间不详。
轶闻.《唐语林》载赵彦昭两事：1.中宗时，兵部尚书韦嗣立新升三品，侍郎赵彦昭得金紫（金鱼袋、紫色官服），吏部侍郎崔湜复旧官。中宗命于兴庆池设“烧尾宴”（祝贺升官的大宴）。2.神龙二年（706年），赵彦昭录取薛令之为进士。