避难渡江，镇东大将军司马睿用他为镇东参军，转任为丞相主簿，委以机密。历任黄门侍郎、尚书吏部郎。不久，任晋陵郡太守，被晋元帝任为丹徒太守府执事。他任达放纵无羁，好饮酒。与温峤、庾亮、阮放、桓彝、刘绥等志同道合，并为中兴名士。又与阮孚、阮放、胡毋辅之、谢鲲、毕卓、桓彝、光逸等八人相表里，号“兖州八伯”，又称“兖州八达”。王敦录为右长史，羊曼知王敦怀有野心，与谢鲲等散发裸体，终日酣醉，讽议而已。王敦以其名士，厚加礼遇，不委以重事。王敦失败后，羊曼故得免祸。晋成帝时，苏峻叛乱，327年苏峻举兵向建康（今江苏南京），