十年（385年），谢安去世的时候，司马道子以司徒、骠骑将军兼扬州刺史、都督中外诸军事、录尚书事，尚书令谢石拜卫将军，陆纳担任尚书仆射，王献之担任中书令，车胤、王国宝、张玄担任侍中。太元十一年（386年），东晋将尚书仆射一分为二，以陆纳为尚书左仆射，谯王司马恬为尚书右仆射；侍中张玄为吏部尚书；王献之去世，王珣弟弟、侍中王珉兼中书令。太元十二年（387年），张玄从吏部尚书转任吴兴郡太守，与谢玄同年到吴兴郡任太守，而张玄之名次于谢玄，时人称为“南北二玄”。张玄官至冠军将军。车骑将军桓冲任荆州刺史时在江陵镇守，