玄就因败于刘裕而弃守建康，西走江陵，而押送诸葛长民的人就救出了他，并回攻历阳，逼得刁逵弃城而走，最终被捕诛杀，而刘裕就以诸葛长民为辅国将军、宣城内史。不久，桓歆率氐人杨秋进攻历阳，诸葛长民在魏咏之统率下又率众击败杨秋，并在历阳西北的练固斩杀杨秋；另又与刘敬宣于芍陂击败桓歆，令其渡淮河北逃。义熙二年（406年），诸葛长民因其功而封新淦县公，以本官督淮北诸军事，驻镇山阳。
参衞国安.义熙五年（409年），南燕皇帝慕容超派兵南侵，诸葛长民派其部下在下邳击退南燕军，因功进使持节、督青扬二州