就将彦之留下。桓玄最终败死，刘裕恢复东晋政权，然而到彦之却为刘裕所责，彦之不作解释，孟昶亦不为其申辩，故彦之始络没获加官褒赏。义熙元年（405年），任刘裕的镇军行参军，后迁广武将军。义熙六年（410年），卢循出兵进攻建康，荆州刺史刘道规派了到彦之与司马王镇之及扬武将军檀道济支援建康，然而到了寻阳（今江西九江市）时被后秦派往支持卢循的将领苟林击败，彦之被免官。后以军功封佷山县子，曾先后任太尉中兵参军、骠骑咨议参军及骠骑司马兼南郡太守。义熙十四年（418年），刘义隆出镇荆州，到彦之改任使持节、南蛮校尉。永初元年