封嗣立为逍遥公，将别墅赐名为清虚原幽栖谷。景龙四年（710年），韦嗣立升任中书令，五月，韦后、安乐公主毒杀中宗，意图自立为帝，被太平公主和临淄王李隆基所灭，韦嗣立也在乱中几乎被杀，幸得因他是宁王李宪姨妈的丈夫，受李宪救护才幸免。唐睿宗即位后，韦嗣立被贬为许州刺史。开元初年（714年），韦嗣立入朝为国子祭酒，又因在中宗朝任宰相时不能阻止宗楚客、韦温等人压迫睿宗，再次被贬为岳州别驾，很久才升迁陈州刺史。开元七年（719年），河南道巡察使、工部尚书刘知柔上奏唐玄宗，为韦嗣立辩白，但诏命还未下，韦嗣立就在洛阳归