因庾希在初被免官时多次盗取了京口的军需品，于是在桓温的意思下遭到官吏弹劾，免去护军将军一职，庾希只好寄住在暨阳。咸安元年（371年），桓温废黜晋废帝司马奕，立晋简文帝为帝后，先废太宰武陵王司马晞的官职，随后就诬陷时任太宰长史的庾希弟弟庾倩与司马晞及着作郎殷涓等人图谋叛乱，意图消灭颖川庾氏和陈郡殷氏的宗族力量，提高威势。庾希知道后，就与弟弟庾邈及儿子庾攸之逃到海陵。庾希在海陵得到其表兄，前青州刺史武沈的协助，暗中资助庾希。至次年，桓温发现庾希行踪，于是派人追捕。庾希与武沈儿子武遵于是在六月于沿海地区招聚民