隔不让他出任，每次招引他担任幕僚，委派文事，他都辞让，于是获免。及后陈宝应娶留异的女儿为妻子，阴谋谋反，虞寄略微知道陈宝应意向，在言谈之间陈述臣民顺从道理，略带隐语规劝，但陈宝应总推说其他事情；陈宝应又曾叫部下朗诵《汉书》，自己伏着休息聆听，说到蒯通游说韩信「看你的背，却是贵不可言。」陈宝应突然起来说：「真是智士。」唯虞寄严肃地说：「他令郦寄背叛，让韩信骄傲，不能够称为有智慧；怎比得上班彪写《王命论》，知道天命所归吗？」他知道陈宝应不听劝谏，害怕将会惹祸，就穿上居士服装拒绝，经常在东山寺居住，装作脚病不