待诏命回应，让他东回，又除授东扬州别驾，虞寄又以病推辞。陈宣帝即位，征用他出任扬州治中、尚书左丞，没有就任；再授除东中郎建安王陈叔卿的谘议，加戎昭将军，再次以病推辞，不想日夜陪伴。于是建安王特令停止王府公事，有疑议才请他决定，只需要他初一和十五修书致意。太建八年（576年）加太中大夫，仍然担任将军，到太建十一年（579年）去世，虚龄七十。虞寄自年轻就纯正踏实，行事仁爱宽厚，对童仆也没有给以脸色，在危急时亦坚守节操，说话语气严肃，不怕刀剑威胁。自从他流落南方、和兄长虞荔分开后就患上气病，每次得到兄长的书信