晋与前秦接壤的边境经常发生战事，朝廷议论选出能够捍衞疆土的守将，就选中了桓伊，并任用他为淮南太守。桓伊在任内安定当地，并且有效抵御外敌，故此及后就加督豫州之十二郡及扬州之江西五郡军事，升建威将军、历阳及淮南二郡太守。太和六年（371年），前秦派王鉴及张蚝领兵救援据守寿春的叛将袁真子袁瑾，桓伊与谢玄领兵击败他们，助桓温攻克寿春，平定叛变。战后因功封宣城县子，进都督豫州诸军事、西中郎将、豫州刺史。太元元年（376年）又在桓沖指命下率兵进军寿春，以缓解前秦对前凉的军事压力。太元八年（383年），淝水之战发生，