任尚书仆射，王献之担任中书令，车胤、王国宝、张玄担任侍中。太元十一年（386年），东晋将尚书仆射一分为二，以陆纳为尚书左仆射，谯王司马恬为尚书右仆射；侍中张玄为吏部尚书；王献之去世，王珣弟弟、侍中王珉兼中书令。太元十二年（387年），张玄从吏部尚书转任吴兴郡太守，与谢玄同年到吴兴郡任太守，而张玄之名次于谢玄，时人称为“南北二玄”。张玄官至冠军将军。车骑将军桓冲任荆州刺史时在江陵镇守，朝廷派左卫将军张玄之去桓冲处咨谋军事，奉命到江陵出差，坐船路经阳歧村。张玄忽见人拿着半小笼活鱼，走到船旁，说：“有鱼，想切