，其实桓玄亦知其具威胁，但其时除了在讨伐孙恩余众外，桓玄亦指望刘裕助其北伐，故一直都未有加害，反倒相当礼待。
重建北府.刘裕世居京口，在刘牢之叛归桓玄之际表明反对，后牢之欲叛桓玄时其亦不同意，至桓玄大权在握之际则更欲起事，不过在孔靖的建言下，他还是决定待桓玄篡位后才在京口徐图举事。元兴二年（403年）年末，桓玄篡晋，自登帝位，刘裕遂在京口密谋起事。但由于旧有北府势力已随刘牢之败死后大都遭桓玄消灭，刘裕仅能凭借其在徐兖地区的人脉连结，包括一些在徐兖桓氏人物府中任僚属的人，如青州刺史桓