附韦皇后的女巫陇西夫人赵五娘，拜为姑母，秘密与之见面，穿着女人衣服和妻子去请她用巫术让他成为宰相。赵五娘伏诛后，在她家搜出了赵彦昭行贿之物，于是九月赵彦昭在潞州刺史任上以交结奸人、党附凶孽、舆金辇货冒宠求荣等罪，被远贬归州刺史。景云二年（711年）又升为凉州都督，在任清正严格，下属都吓得腿打战。四月前卸任，入为吏部侍郎、关内道持节巡边使，又迁检校左御史台大夫。
唐玄宗年间.先天元年（712年），睿宗下诏将当初赵彦昭等劝进之事付史馆修史。同年，睿宗禅位于李隆基，后者就是唐玄宗，但唐睿