到芜湖讨伐苏峻一支偏军，并成功击破。桓彝不久就领兵到石硊，此时朝廷所派守慈湖的司马流被苏峻军将领韩晃领兵击败，敌军因而长驱直进，并于芜湖击败桓彝。桓彝见宣城郡没有可作坚守的城，于是退守广德。次年，苏峻领兵攻破建康，专掌朝政。桓彝知道后慷慨流涕，并进屯泾县。当时裨惠以附近州郡大部份都投降苏峻为由，劝桓彝假意投降，免被攻打。但桓彝拒绝与苏峻通和，后更遣将军俞纵守兰石。苏峻及后派韩晃进攻俞纵，俞纵力战而死。韩晃及后进击桓彝，桓彝唯有据守城池，但显得势孤力弱。围困的苏峻军曾向桓彝劝降，而桓彝部将亦劝他假意投降，