成大器。在任平棘县令时，号称善政。武则天主政的载初年间（689—690年），历任安南副都护，又历蕲、蒲、晋、魏、宣、许六州刺史，凉、梁二都督，荆州大都督府长史。他为官清白，前后九次被评为上等，多次受到皇帝玺书褒美。武周长安年间（701—704年），张柬之接替杨元琰任荆府长史，两人坐船游览长江时，谈及则天革命，对于武氏族人的擅权，杨元琰发言慷慨，言语中有匡复李唐的意思。因此张柬之在被狄仁杰和姚崇推举，入朝成为宰相后，奏请任命杨元琰为右羽林将军。杨元琰到达东都洛阳后，张柬之对其问道：“君还记得江中所说的话吗