王陈伯山出阁，虽然尚未设置府僚，但总要有人跟随担任书记，需要找寻老成博学而有德行的人。」到仲举来不及回应，文帝已经再说：「我已经有人选。」亲自下诏起用虞寄，虞寄入朝致谢，文帝对他说：「让你屈就衡阳王府，不只是因为文事，而是想你当衡阳王的老师。」不久兼任散骑常侍，出使北齐，虞寄借老病推辞不成行，担任国子博士，很快又上表情求辞职回乡，文帝优待诏命回应，让他东回，又除授东扬州别驾，虞寄又以病推辞。陈宣帝即位，征用他出任扬州治中、尚书左丞，没有就任；再授除东中郎建安王陈叔卿的谘议，加戎昭将军，再次以病推辞，不想日夜