贬为端州高要（今广东肇庆）尉。705年唐中宗复辟，魏元忠被召回，授兵部尚书。时中宗不理朝政，把国家大权交付于魏元忠，并赐魏元忠物千段。元忠由是备受宠幸，逐渐专横跋扈，被时人讥「不能赏善罚恶，勉修时政」。魏元忠又嫉妒武三思专权用事，适逢太子李重俊发动重俊之变，诛武三思，魏元忠乃暗中协助。武三思余党兵部尚书宗楚客、侍中纪处讷、右卫郎将姚庭筠、给事中冉祖雍与杨再思共同上疏斥元忠与太子通谋，元忠请求解职，在《请解职书》说“名忝大臣，不能缉谐中外，致使祸生辇毂，衅起储闱。空怀报国之诚，而无死节之效”。先后贬渠州（