左长史，请求外任下转为建武将军、乐安太守。不过，胡毋辅之在乐安郡与当地人光逸经常饮酒，没有理会郡中事务。随后时为皇太弟的成都王司马颖召胡毋辅之为中庶子。后来东海王司马越听闻胡毋辅之的名声，召他当自己的从事中郎，补振威将军、陈留太守。不过，及后汉赵将领王弥经过陈留，胡毋辅之被指责没有出兵讨伐而被免官。不久又任司马越的右司马、本州大中正。永嘉五年（311年），司马越去世，同年发生永嘉之乱，胡毋辅之南渡避难，时仍为安东将军、琅琊王的晋元帝司马睿遂以其为安东谘议参军。不久改任扬武将军、湘州刺史、假节。不过胡毋辅