掾。在职期间将烦苛事务简化，只求大体，官署内整天寂静。侯景之乱发生，虞寄伴随兄长虞荔入台，除官镇南将军湘东王萧绎的谘议参军，加贞威将军。建康陷落，他逃回家乡；张彪到临川，强迫他同行，他和张彪将领郑玮同船随行，郑玮层不顺张彪，就掳去虞寄出奔晋安，当时陈宝应佔据闽中，得到寄虞寄十分高兴。陈霸先平定侯景，虞寄劝陈宝应主动攀附，他同意并派使者投诚。承圣元年（552年），除授和戎将军、中书侍郎。陈宝应爱才，借词道路阻隔不让他出任，每次招引他担任幕僚，委派文事，他都辞让，于是获免。及后陈宝应娶留异的女儿为妻子，阴谋