再说：「我已经有人选。」亲自下诏起用虞寄，虞寄入朝致谢，文帝对他说：「让你屈就衡阳王府，不只是因为文事，而是想你当衡阳王的老师。」不久兼任散骑常侍，出使北齐，虞寄借老病推辞不成行，担任国子博士，很快又上表情求辞职回乡，文帝优待诏命回应，让他东回，又除授东扬州别驾，虞寄又以病推辞。陈宣帝即位，征用他出任扬州治中、尚书左丞，没有就任；再授除东中郎建安王陈叔卿的谘议，加戎昭将军，再次以病推辞，不想日夜陪伴。于是建安王特令停止王府公事，有疑议才请他决定，只需要他初一和十五修书致意。太建八年（576年）加太中大夫，仍