一作张玄，字祖希，吴郡太守张澄之孙。张玄之母顾氏是顾和之女。张玄之封晋宁侯，张玄之以才学显名，太元十年（385年），谢安去世的时候，司马道子以司徒、骠骑将军兼扬州刺史、都督中外诸军事、录尚书事，尚书令谢石拜卫将军，陆纳担任尚书仆射，王献之担任中书令，车胤、王国宝、张玄担任侍中。太元十一年（386年），东晋将尚书仆射一分为二，以陆纳为尚书左仆射，谯王司马恬为尚书右仆射；侍中张玄为吏部尚书；王献之去世，王珣弟弟、侍中王珉兼中书令。太元十二年（387年），张玄从吏部尚书转任吴兴郡太守，与谢玄同年到吴兴郡任太守