灵慧深得谢安喜爱。谢安曾问他，「为什么人们总希望子弟们出色」，他回答说是，“譬如芝兰玉树，欲使其生于阶庭耳。”谢安又曾问他，《诗经》中最喜欢哪句，他回答说是“昔我往矣，杨柳依依；今我来思，雨雪霏霏。”被后世人认为是性情中人。362年前后，谢玄出仕，入桓温幕府为司马，深得桓温器重，被认为是大将之才。宁康元年（373年）桓温去世后，他又入桓豁幕府。太元二年377年，谢安因为北方边防问题，推荐他出任兖州刺史，镇守广陵，负责长江下游江北一线的军事防守。谢玄不负叔父重托，在广陵挑选良将，训练精兵，彭城刘牢之、东海