之间陈述臣民顺从道理，略带隐语规劝，但陈宝应总推说其他事情；陈宝应又曾叫部下朗诵《汉书》，自己伏着休息聆听，说到蒯通游说韩信「看你的背，却是贵不可言。」陈宝应突然起来说：「真是智士。」唯虞寄严肃地说：「他令郦寄背叛，让韩信骄傲，不能够称为有智慧；怎比得上班彪写《王命论》，知道天命所归吗？」他知道陈宝应不听劝谏，害怕将会惹祸，就穿上居士服装拒绝，经常在东山寺居住，装作脚病不能站立。陈宝应认为他找借口，就派人烧掉他的居所，虞寄依然躺卧不动，亲友把他扶出来，他说：「我的性命没有依靠，可以到哪儿避难？」纵火的人