，被王蒙及刘惔两个名士所赏识，故多次参诸府军事，历仕至大司马桓温的参军。随着前秦的强盛，东晋与前秦接壤的边境经常发生战事，朝廷议论选出能够捍衞疆土的守将，就选中了桓伊，并任用他为淮南太守。桓伊在任内安定当地，并且有效抵御外敌，故此及后就加督豫州之十二郡及扬州之江西五郡军事，升建威将军、历阳及淮南二郡太守。太和六年（371年），前秦派王鉴及张蚝领兵救援据守寿春的叛将袁真子袁瑾，桓伊与谢玄领兵击败他们，助桓温攻克寿春，平定叛变。战后因功封宣城县子，进都督豫州诸军事、西中郎将、豫州刺史。太元元年（376年）又