高平郡等数个郡，庾希被指不能救援各郡而被免官。后来又被征为护军将军，但庾希怒而辞让不受。又因庾希在初被免官时多次盗取了京口的军需品，于是在桓温的意思下遭到官吏弹劾，免去护军将军一职，庾希只好寄住在暨阳。咸安元年（371年），桓温废黜晋废帝司马奕，立晋简文帝为帝后，先废太宰武陵王司马晞的官职，随后就诬陷时任太宰长史的庾希弟弟庾倩与司马晞及着作郎殷涓等人图谋叛乱，意图消灭颖川庾氏和陈郡殷氏的宗族力量，提高威势。庾希知道后，就与弟弟庾邈及儿子庾攸之逃到海陵。庾希在海陵得到其表兄，前青州刺史武沈的协助，暗中资助