失去帝宠。司农卿赵履温也说堂堂宰相做使者有损身价，赵彦昭向他问计，赵履温秘密托中宗有权势的女儿安乐公主李裹儿密奏留下赵彦昭，于是中宗改派左骁卫大将军杨矩。
唐殇帝及唐睿宗复位年间.六月，中宗暴崩，传统史家认为是被他有权势的妻子韦皇后和李裹儿所毒杀，使得韦皇后能像武则天那样成为“皇帝”，李裹儿也能成为皇太女。中宗庶子温王李重茂被立为皇帝，但韦皇后作为摄政皇太后持有权力。赵彦昭继续为相。不到一个月，中宗妹太平公主和侄子临淄王李隆基发动政变，杀韦太后和李裹儿，追废韦太后为庶人。后李隆基父