道这事后就借了客人的驴，身穿丧服把婢女追回来。他解释道：「人种不可失！」然而仍为舆论所不容。这婢女就是阮孚的母亲。因为母亲身世的缘故，阮咸的姑母引用王延寿《鲁灵光殿赋》中「胡人遥集于上楹」一句，以「遥集」为阮孚的表字。阮孚出仕后最初任职于太傅府，其后调任骑兵属。永嘉之乱发生后，阮孚跟随一些北方士族流亡至江南，并继续任职于东晋朝廷。
避乱江南.晋元帝委任阮孚为安东参军，其后阮孚先后任职丞相从事中郎、车骑将军长史、黄门侍郎、散骑常侍等职。阮孚终日披头散发，不理公事，只顾