晋元帝下令讨伐，虞潭亦受命进攻，但到庐陵时华轶已被周访击败被杀害。但同时，当年正月爆发的杜弢之乱仍未平定，新任江州刺史衞展于是上表让虞潭加领安成太守以作抵抗。杜弢之乱在建兴三年（315年）被平定后，时任丞相的晋元帝召命他为丞相军谘祭酒，转琅琊国中尉。东晋建立后，虞潭先后任屯骑校尉、右衞将军及宗正卿。王敦之乱于永昌元年（322年）爆发，大将军王敦率兵进攻建康，并攻入石头城，虞潭与王导等六人率兵三道进攻石头城但失败。王敦事后掌握朝政，并回武昌遥控朝政。太宁二年（324年）虞潭因病而回乡。但同年王敦派王含等人