到了，叹道：「这样美好的描述，是表达太平盛世的情怀，不是借此买名求仕的。」于是闭门称病，以读书自娱。岳阳王萧詧出任会稽太守，招引虞寄任职行参军，迁官记室参军，领郡五官掾；又转为中记室，依然领五官掾。在职期间将烦苛事务简化，只求大体，官署内整天寂静。侯景之乱发生，虞寄伴随兄长虞荔入台，除官镇南将军湘东王萧绎的谘议参军，加贞威将军。建康陷落，他逃回家乡；张彪到临川，强迫他同行，他和张彪将领郑玮同船随行，郑玮层不顺张彪，就掳去虞寄出奔晋安，当时陈宝应佔据闽中，得到寄虞寄十分高兴。陈霸先平定侯景，虞寄劝陈宝应主