武氏族人的擅权，杨元琰发言慷慨，言语中有匡复李唐的意思。因此张柬之在被狄仁杰和姚崇推举，入朝成为宰相后，奏请任命杨元琰为右羽林将军。杨元琰到达东都洛阳后，张柬之对其问道：“君还记得江中所说的话吗？今日这个官可不是轻易给你的。”及此，左右羽林军为张柬之、桓彦范、敬晖等人所控制。神龙元年（705年）正月二十二日，张柬之等人乘武后病重，与右羽林卫大将军李多祚、左羽林将军李湛、右羽林将军杨元琰、左威卫将军薛思行、赵承恩、驸马都尉王同皎、职方郎中崔泰之、库部员外郎朱敬则、司刑评事冀仲甫、检校司农少卿兼知总监翟世言