麾下的刘牢之击败，从此失踪。时有关部门表奏虞啸父和王廞是同谋，应当处斩，然而朝廷以虞潭的功勋而赦免了啸父，让他以患病为由贬为庶人。隆安四年（402年），朝廷重新起用啸父为尚书。桓玄击败司马道子、司马元显父子掌政后，以虞啸父为自己的太尉左司马，后转为护军将军。桓玄篡晋登帝位后，以虞啸父为征东将军、会稽内史。不久的元兴三年（404年），刘裕起兵击败桓玄，恢复东晋政权，孔靖获任命为新任会稽内史。早前孔靖曾向虞啸父求任征东府司马，为啸父所拒绝，此时啸父恐惧而向已入郡的孔靖请罪，反为孔靖安抚，并让啸父仍留府中度宿