在击败卢循后，何无忌偷偷去见刘裕，劝说刘裕在山阴县起兵讨伐桓玄，不过刘裕想等待桓玄正式篡位，而在邻近建康的京口起兵讨伐，故此没有实行何无忌的建议。十二月，桓玄篡位称帝。元兴三年（404年），刘裕与何无忌返回京口，密谋讨伐桓玄，复兴晋室，于是与刘毅、王懿、孟昶、檀凭之等人共谋起兵。刘裕等军于二月乙卯日（3月24日）正式起兵，并于次日成功夺取了京口及广陵两个重镇的控制权。当时何无忌亦推荐了刘穆之给刘裕作为主簿。刘裕及后率军攻陷建康，桓玄出走江陵，刘裕在建康以武陵王司马遵承制建立行台，司马遵遂以何无忌为辅国将军、