仕，入桓温幕府为司马，深得桓温器重，被认为是大将之才。宁康元年（373年）桓温去世后，他又入桓豁幕府。太元二年377年，谢安因为北方边防问题，推荐他出任兖州刺史，镇守广陵，负责长江下游江北一线的军事防守。谢玄不负叔父重托，在广陵挑选良将，训练精兵，彭城刘牢之、东海何谦、琅邪诸葛侃、乐安高衡、东平刘轨、西河田洛、晋陵孙无终等骁勇之士皆被他招募到麾下，其中尤其以刘牢之最为勇悍，每每冲锋陷阵在前。谢玄又招募北方流亡民众，徐、兖人民纷纷应募入伍，从而建立了一支精良的部队——北府兵。
淮南之战