喜，虞寄就呈上《瑞雨颂》。武帝对他的兄长虞荔说：「这首诗文字脱俗，是大臣中的的陆云，应该如何擢升？」他听到了，叹道：「这样美好的描述，是表达太平盛世的情怀，不是借此买名求仕的。」于是闭门称病，以读书自娱。岳阳王萧詧出任会稽太守，招引虞寄任职行参军，迁官记室参军，领郡五官掾；又转为中记室，依然领五官掾。在职期间将烦苛事务简化，只求大体，官署内整天寂静。侯景之乱发生，虞寄伴随兄长虞荔入台，除官镇南将军湘东王萧绎的谘议参军，加贞威将军。建康陷落，他逃回家乡；张彪到临川，强迫他同行，他和张彪将领郑玮同船随行，郑