謝玄
その後、彭超らは南へ進んで盱眙へ侵攻すると、淮陰を攻略した倶難らと合流した。さらに右将軍毛当・強弩将軍王顕もまた2万を率いて襄陽から出撃し、倶難・彭超と合流した。
5月、倶難・彭超は盱眙を攻略し、守将である建威将軍毛璪之を捕り、さらに侵攻を続けて6万の兵で幽州刺史田洛の守る三阿を包囲した。ここは広陵よりわずか百里の距離であったので、建康の東晋朝廷は大いに震え上がり、長江に臨んで兵を陳列して守備を固めると共に、征虜将軍謝石に水軍を与えて涂中に駐屯させた。また、右衛将軍毛安之・游撃将軍司馬曇・淮南郡太守楊広(楊佺期の兄)・宣城内史丘準には4万の兵を与えて堂邑を守らせたが、前秦の右将軍毛当・右禁将軍毛盛は騎兵2万を率いて堂邑を急襲し、毛安之軍を潰走させた。
謝玄は豫州刺史朱序に梁国を鎮守させ、自らは彭城を守り、北は河上を固め、西は洛陽の援をなし、朝廷が直接統治するところとするよう請うた。だが、朝議において、征役が長年続いている事から、守備兵を置いたならば帰還すべきであるという結論に至り、謝玄は帰還して淮陰を守り、朱序は寿春を鎮守するよう命じられた。
太元10年(385年)10月、謝玄は淝水の戦いで戦捷を収めた論功行賞により昇爵された。すでに亡くなった謝安は廬陵郡公に追封され、謝石は南康公に、謝玄は康楽公に、謝琰は望蔡公に、桓伊は永脩公に封じられた。
太元11年(386年)正月、丁零の首長翟遼が黎陽において反乱を興し、滕恬之を捕らえた。3月、泰山郡太守張願もまた郡ごと反乱を起こして翟遼に合流したので、河北は大混乱となった。謝玄はこれを自らの失態であるとして、上疏して節を返送し、解職するよう求めた。だが、詔により慰労され、淮陰に鎮するよう命じられ、朱序が代わって彭城を守った。
太元2年(377年)10月、当時、前秦が急速に勢力を拡大しており、北の国境は幾度も侵寇を受けていた。朝廷は北方を鎮める為に文武の良将を求めると、謝安は謝玄こそ適任であるとして推挙した。中書郎郗超はかねてより謝玄とは折り合いが悪かったが、これを聞くと嘆息して「安(謝安)は周囲の意に反して親族を挙げたが、これは明である。玄(謝玄)は必ずやこの挙に違わぬであろう。まさしく才である」と述べた。当時の人はこれに納得していなかったが、郗超は「我はかつて玄と共に桓公(桓温)の府にいたが、彼が人材を用いるのを見るに、小事ですらその任に適ったものであった。故にこれが分かるのだ」と言った。
ここにおいて中央に呼び戻されると、建武将軍・兗州刺史・領広陵相・監江北諸軍事に任じられた。謝玄が着任すると驍勇の士を集め、彭城出身の劉牢之ら数人の逸材を得た。その劉牢之を参軍に任じ、常に精鋭を率いさせて軍の前鋒とすると、謝玄軍は向かうところ敵無しであり、常に勝利を治めたという。時の人はその軍を『北府兵』と号して賞賛し、敵からは恐れ憚られた。
遡って太元3年(378年)8月、前秦の兗州刺史彭超もまた別働隊を率いて沛郡太守戴逯の守る彭城へ侵攻し、さらに後将軍倶難らが7万を率いて淮陽・盱眙へ侵攻した。
太元4年(379年)2月、謝玄は東莞郡太守高衡・後軍将軍何謙を始めとした1万余りの兵を率いて彭城救援に向かうと、泗口まで軍を進めた。彼は彭城にいる戴逯に援軍到来を告げようとしたが、道は絶たれてしまっていた。部曲の田泓は自ら水を潜って彭城へ向かうと名乗り出ると、謝玄はこれを認めて派遣したが、田泓は向かう途上で前秦軍に捕らえられてしまった。この時、前秦軍は彼に厚く賄賂を贈り、既に援軍が敗れたと城内へ嘘の連絡をするよう持ち掛けると、田泓はこれを偽って表向きは同意した。そして彼は城の傍へ赴くと、城中へ「南軍(謝玄の軍)はすぐに到達するぞ。我は単独で報せに来たが、賊に捕らわれる事になった。汝らは勉めよ!」と告げた。田泓は前秦軍に殺されてしまったが、これにより城内と連絡をとることが出来た。
この時、彭超は輜重を留城に置いていたので、謝玄は敢えて彭超軍を攻めずに何謙・高衡を留城に向かわせた。彭超はこれを聞くと彭城の包囲を解き、軍を引いて輜重を守ったので、戴逯はこの隙に彭城の衆を伴って謝玄の陣営へ逃れることが出来た。