桓沖到荆州后，以当时前秦强盛，于是意欲移镇加强防守，于是上请从江北的江陵改镇江南的上明。当时荆州因水旱而发生饥荒，朝廷更每年运三十万斛米粮支援桓沖军粮开支。太元三年（378年），苻坚派大军南侵，鲁阳、南乡、南阳等地都沦陷，分攻两地的石越和姚苌及慕容垂更与苻丕及苟苌和慕容暐会合联攻梁州刺史朱序所驻的襄阳。当时桓沖虽然在上明拥兵七万，但因畏惧秦军而不敢进攻，所派的刘波亦因畏惧而不敢前进，最终朱序兵败被擒，襄阳失陷。桓沖在战后引咎上疏请求解职，但不被允许，后更派左衞将军张玄之去桓沖处谘谋军事。太元六年（381