宗被武则天罢黜，改为庐陵王，韦氏一直跟随他到了房州，途中韦氏生下最年幼的女儿，取名为裹儿，为日后的安乐公主。在房州时中宗惧不自安，每闻制使至，惶恐至想自杀。韦氏劝中宗说：“祸福倚伏，何常之有？岂失一死，何遽如是也！”十数年间两人同过艰险，情义甚笃。父亲韦玄贞被流放钦州而死，母亲崔氏被钦州首领宁承兄弟所杀。弟弟韦洵、韦浩、韦洞和韦泚全部死于容州。两位妹妹，逃窜获免。圣历元年（698年），武则天将中宗召还东都。圣历二年（699年），武则天将中宗重新立为太子。大足元年（701年），韦妃的儿子李重润和女儿李仙蕙