，桓温于是命庾希及竟陵太守邓遐领三千人水军支援洛阳守将陈祐。庾希是晋明帝皇后庾文君的侄儿，父亲庾冰又嫁了女儿庾道怜给晋哀帝弟司马奕，因着这与皇室的姻亲关系，庾希兄弟都十分显达尊贵，兄弟都在朝内或方镇任官。当时掌权的桓温于是十分忌讳庾氏家族的兴盛。太和二年（367年），因前一年前燕将领慕容厉进攻兖州，攻陷鲁郡、高平郡等数个郡，庾希被指不能救援各郡而被免官。后来又被征为护军将军，但庾希怒而辞让不受。又因庾希在初被免官时多次盗取了京口的军需品，于是在桓温的意思下遭到官吏弹劾，免去护军将军一职，庾希只好寄住