衡、东平刘轨、西河田洛、晋陵孙无终等骁勇之士皆被他招募到麾下，其中尤其以刘牢之最为勇悍，每每冲锋陷阵在前。谢玄又招募北方流亡民众，徐、兖人民纷纷应募入伍，从而建立了一支精良的部队——北府兵。
淮南之战.太元三年（378年）四月，前秦征南大将军苻丕率步骑7万人进攻襄阳。苻坚另派10万多人，分三路合围襄阳，总计投入兵力17万，车骑将军桓冲起兵应敌。朝廷下诏书令谢玄发三州人丁为支援部队。太元四年（379年）二月，襄阳陷落。秦将彭超围攻龙骧将军戴逯于彭城，秦晋淮南之战爆发。谢玄率东莞太守高